[논문 리뷰] Optimal Receding Horizon Control for Finite Deterministic Systems with Temporal Logic Constraints

Mária Svoreňová, Ivana Černá외 1명|arXiv (Cornell University)|2013. 03. 14.

Formal Methods in Verification참고 문헌 10인용 수 5

한 줄 요약

이 논문은 유한한 결정론적 시스템에 대해 선형 시간 논리(LTL) 사양을 만족시키면서 기대 평균 보상의 최소화를 보장하는 증명 가능하게 올바른 후퇴 계획 제어 전략을 제안한다. 자동차 기반 합성과 국소 센싱 및 온라인 계획을 융합함으로써, 이 방법은 오프라인 접근 방식보다 실제 환경에서 더 낮은 평균 보상으로 성능을 달성하였으며, 최적 평균 보상이 5.4인 로봇 지속 감시 사례 연구에서 이를 입증하였다.

ABSTRACT

In this paper, we develop a provably correct optimal control strategy for a finite deterministic transition system. By assuming that penalties with known probabilities of occurrence and dynamics can be sensed locally at the states of the system, we derive a receding horizon strategy that minimizes the expected average cumulative penalty incurred between two consecutive satisfactions of a desired property. At the same time, we guarantee the satisfaction of correctness specifications expressed as Linear Temporal Logic formulas. We illustrate the approach with a persistent surveillance robotics application.

연구 동기 및 목표

• 유한 결정론적 시스템에서 기대 평균 누적 보상의 최소화를 보장하는 증명 가능하게 올바른 제어 전략을 개발하는 것.
• 선형 시간 논리(LTL) 공식으로 표현된 정확성 사양을 보장하는 것.
• 국소 센싱을 통한 보상 감지 정보를 활용하여 오프라인 해법을 초월하는 온라인 후퇴 계획 제어 전략을 설계하는 것.
• 실시간 적응 가능성과 기대 평균 보상의 최적성 사이의 균형을 이루는 것.
• 상태에 따라 변하는 보상과 안전성 제약 조건이 존재하는 지속 감시 로봇 응용 분야에서 접근 방식을 검증하는 것.

제안 방법

• 상태에 따라 변하는 보상과 알려진 발생 확률을 가진 가중치가 부여된 결정론적 전이 시스템으로 시스템을 수식화한다.
• 안전성(위험한 상태 회피)과 생존성(핵심 위치 반복 방문)을 포함한 정확성 제약 조건을 LTL 공식을 통해 표현한다.
• 목표 행동을 표현하기 위해 LTL 공식에서 부치 자동차를 구성하고, 이를 시스템과 제품 구성 기법을 통해 결합한다.
• 게임 이론 기법을 적용하여 LTL 사양을 만족하는 순환에서 기대 평균 보상을 최소화하는 전략을 계산한다.
• 사용자가 정의한 계획 시간 창 내에서 실시간 보상 감지를 활용하여 오프라인 해법을 국소적으로 개선하는 온라인 후퇴 계획 전략을 구현한다.
• 수렴 보장을 가진 값 반복 기반 알고리즘을 사용하여 각 순환당 최적의 기대 평균 보상 계산

실험 결과

연구 질문

• RQ1 유한 결정론적 시스템에서 LTL로 지정된 정확성 사양을 보장하면서 기대 평균 보상을 최소화하는 후퇴 계획 제어 전략을 설계할 수 있는가?
• RQ2 보상의 온라인 국소 센싱은 순수 오프라인 전략 대비 실제 평균 보상 측면에서 성능을 어떻게 향상시키는가?
• RQ3 상태에 따라 변하는 위험 요소가 존재하는 지속 감시 작업에서 최적의 기대 평균 보상은 얼마인가?
• RQ4 실제로 온라인 전략은 이론적 오프라인 최적값 이하의 평균 보상을 얼마나 줄이는가?
• RQ5 오프라인 및 온라인 제어 전략에서 순환 수와 수렴 행동은 시간이 지남에 따라 어떻게 변화하는가?

주요 결과

• 온라인 후퇴 계획 전략은 오프라인 전략보다 실세계에서 유의미하게 낮은 누적 평균 보상을 달성하였으며, 결과적으로 최적 이론적 값 5.4 이하로 일관되게 유지되었다.
• 오프라인 전략의 평균 보상은 시간이 지남에 따라 점차 최적 값 5.4로 수렴하여 渐近 최적성(Asymptotic optimality)을 보였다.
• 모든 라운드에서 두 번째 단계의 감시 순환 수는 단조롭게 증가하지 않았으며, 이는 비단조화 수렴 행동을 시사한다.
• 두 번째 단계에서 오프라인 전략의 최대 감시 순환 수는 7이었고, 온라인 전략은 3이었으며, 이는 온라인 접근 방식이 더 빠른 수렴을 보임을 의미한다.
• 온라인 전략의 성능 향상 요인은 국소 센싱과 동적 계획 기법에 기인하며, 실행 중 실제 보상 실현치에 적응할 수 있도록 한다.
• 프레임워크는 LTL로 지정된 성질을 성공적으로 보장하였으며, 이는 베이스 지점 반복 방문(G F c), 위험 상태 회피(G ¬u), 패키지 운반의 교차 전환(G (a → X(¬a U b)) ∧ G (b → X(¬b U a)))를 포함한다.