[논문 리뷰] Receding Horizon Temporal Logic Control for Finite Deterministic Systems

Xuchu Ding, Mircea Lazar외 1명|arXiv (Cornell University)|2012. 03. 13.

Advanced Control Systems Optimization인용 수 4

한 줄 요약

이 논문은 유한한 결정론적 시스템을 대상으로 시간에 따라 변하는 상태 보상의 최대화를 동시에 보장하는 선형 시간 논리(LTL) 사양을 만족시키는 후퇴 영역 제어 프레임워크를 제안한다. 모델 예측 제어와 LTL 기반 합성의 조합을 통해 각 단계에서 유한한 영역 내에서 보상을 최적화하며, 제품 자동기의 제약 조건을 통해 궤적의 정확성과 반복적인 타당성을 보장한다.

ABSTRACT

This paper considers receding horizon control of finite deterministic systems, which must satisfy a high level, rich specification expressed as a linear temporal logic formula. Under the assumption that time-varying rewards are associated with states of the system and they can be observed in real-time, the control objective is to maximize the collected reward while satisfying the high level task specification. In order to properly react to the changing rewards, a controller synthesis framework inspired by model predictive control is proposed, where the rewards are locally optimized at each time-step over a finite horizon, and the immediate optimal control is applied. By enforcing appropriate constraints, the infinite trajectory produced by the controller is guaranteed to satisfy the desired temporal logic formula. Simulation results demonstrate the effectiveness of the approach.

연구 동기 및 목표

• 모델 예측 제어(MPC)와 유한한 결정론적 시스템에서 시간 논리 사양을 위한 형식적 합성의 조합에 대한 격차를 메운다.
• 복잡하고 고수준의 LTL 작업 사양을 가진 제어 시스템에서 시간에 따라 변하는 보상의 실시간 최적화를 가능하게 한다.
• 무한 궤적의 정확성(LTL 공식 만족)과 각 시간 단계에서의 최적화 문제의 반복 타당성을 모두 보장한다.
• 기존의 MPC 프레임워크를 시간 논리 제약 조건을 통한 형식적 검증 보장을 통합하여 확장한다.
• 환경 조건의 변화를 반영하는 시간에 따라 변하는 보상에 대해 동적으로 반응하는 확장 가능한 실시간 제어 전략을 제공한다.

제안 방법

• 주어진 LTL 사양을 수용 상태를 가진 비치 자동기로 변환하여 원하는 시간적 행동을 표현한다.
• 시스템 전이 자동기와 비치 자동기 사이의 제품 자동기를 구성하여 공동 동적 행동과 사양 제약 조건을 인코딩한다.
• 제품 상태 공간에 에너지 함수 $ V(p) $ 를 정의하여 수용 상태로의 도달 가능성의 인코딩을 통해 LTL 만족 보장을 한다.
• 각 시간 단계에서 유한한 영역 최적 제어 문제를 설정하여, 영역 $ N $ 동안 누적 보상의 최대화를 도모하며, 향후 수용 상태로의 도달 가능성을 보장하는 제약 조건을 적용한다.
• 최적의 유한한 영역 제어 시퀀스에서 첫 번째 제어 동작을 적용하고, 새로운 현재 상태를 사용하여 다음 시간 단계에서 문제를 재계산함으로써 후퇴 영역 작동을 보장한다.
• 최적화에 종단 제약 조건을 적용하여 반복 타당성과 무한 영역 정확성을 담보한다.

실험 결과

연구 질문

• RQ1 모델 예측 제어는 어떻게 형식적 합성과 통합되어 시간에 따라 변하는 보상을 최적화하면서도 LTL 사양 만족을 보장할 수 있는가?
• RQ2 무한 궤적의 정확성과 반복 타당성을 보장하기 위해 후퇴 영역 최적화에 어떤 제약 조건을 적용해야 하는가?
• RQ3 예측 제어 프레임워크는 시간에 따라 변하는 보상에 실시간으로 효과적으로 반응하면서도 형식적 보장을 유지할 수 있는가?
• RQ4 제안된 프레임워크는 보상 수집 능력과 반응성 측면에서 비후퇴 영역 접근 방식과 비교해 성능가 어떻게 다른가?
• RQ5 유한한 결정론적 시스템에 대한 LTL 사양을 가진 제안된 방법의 계산 복잡도와 확장성은 어떠한가?

주요 결과

• 제안된 후퇴 영역 제어기는 에너지 함수 $ V(p) $ 가 55개 시간 단계 후에 0에 도달함으로써 생성된 무한 궤적이 주어진 LTL 사양을 만족한다는 것을 확인하였다.
• 제어기는 반복 타당성을 확보한다. 즉, 최초 시간 단계에서 최적화 문제가 가능하다면, 닫힌 루프 동역학 하에 모든 미래 시간 단계에서도 여전히 가능하다.
• 이 방법은 시간에 따라 변하는 보상에 효과적으로 대응한다. 시뮬레이션 결과, 이 제어기는 [16]에서 제시한 비후퇴 영역 제어기보다 누적 보상 수집 측면에서 뛰어나며, 동적 보상 변화에 빠르게 적응함을 보였다.
• 알고리즘의 반복 평균 계산 시간은 1초에서 3초 사이였으며, 전체 100단계 시뮬레이션은 300초 이내에 완료되어 실시간 실행 가능성의 가능성을 입증하였다.
• LTL 공식에서 비치 자동기로의 변환에 0.5초가 소요되었고, 제품 자동기 생성 및 에너지 함수 계산에 4초가 소요되어 전처리 오버헤드가 수용 가능한 수준임을 시사하였다.
• 시스템 궤적은 일관되게 $\mathtt{base}$, $\mathtt{survey}$, 그리고 $\mathtt{recharge}$ 상태를 순환 방문하여 감시 미션 작업이 정확하게 수행되고 시간이 지남에 따라 유지됨을 확인하였다.