[논문 리뷰] Computational methods for stochastic control with metric interval temporal logic specifications

Jie Fu, Ufuk Topcu|arXiv (Cornell University)|2015. 03. 24.

Formal Methods in Verification참고 문헌 5인용 수 4

한 줄 요약

이 논문은 연속시간 확률적 시스템을 메트릭 간격 시간 논리(MITL) 사양을 만족시키는 데에 적합한 이산화된 마르코프 결정 과정(MDP)으로 변환함으로써, 확률적 최적 제어를 위한 계산 방법을 제안한다. 마르코프 체인 근사법을 사용하여 점기반 의미론에서 MITL 공식을 만족할 확률을 최대화하는 제어 정책을 합성하며, 이는 이산화가 더 정밀해질수록 조밀한 시간 의미론에서 최적 정책으로 수렴한다.

ABSTRACT

This paper studies an optimal control problem for continuous-time stochastic systems subject to reachability objectives specified in a subclass of metric interval temporal logic specifications, a temporal logic with real-time constraints. We propose a probabilistic method for synthesizing an optimal control policy that maximizes the probability of satisfying a specification based on a discrete approximation of the underlying stochastic system. First, we show that the original problem can be formulated as a stochastic optimal control problem in a state space augmented with finite memory and states of some clock variables. Second, we present a numerical method for computing an optimal policy with which the given specification is satisfied with the maximal probability in point-based semantics in the discrete approximation of the underlying system. We show that the policy obtained in the discrete approximation converges to the optimal one for satisfying the specification in the continuous or dense-time semantics as the discretization becomes finer in both state and time. Finally, we illustrate our approach with a robotic motion planning example.

연구 동기 및 목표

• 연속시간 확률적 시스템에 대한 실시간 시간 논리 제약 조건을 갖는 확장 가능한 확률적 제어 합성 방법의 부족을 해결하기 위해.
• qualitative 만족도에 의존하는 것 대신, MITL 사양을 만족할 확률을 최대화하기 위해.
• 시간 논리 기반 제어를 위한 이산 근사 방법과 연속시간 의미론 사이의 격차를 메우기 위해.
• 불확실성 하에서 시간 제약 조건이 있는 로봇 운동 계획을 위한 최적 제어 합성 가능하게 하기 위해.
• 상태 및 시간 이산화가 더 미세해질수록 이산 근사 방법의 수렴 보장을 제공하기 위해.

제안 방법

• 시스템은 상태 및 제어에 의존하는 확산 및 이동 항을 갖는 확률적 미분 방정식(SDE)으로 모델링된다.
• 연속시간 SDE를 유한 상태 마르코프 결정 과정(MDP)으로 이산화하기 위해 마르코프 체인 근사법이 적용된다.
• MITL 사양은 유한 상태 시간 자동차로 표현되며, 이는 MDP와 제품 합성되어 확장된 MDP를 형성한다.
• 값 반복 알고리즘을 사용하여 점기반 의미론에서 MITL 공식을 만족할 확률을 최대화하는 최적 정책을 계산한다.
• 공간 및 시간 이산화 단계(h 및 δ)가 0에 수렴함에 따라 이산 최적 정책이 조밀한 시간 의미론에서 진정한 최적 정책으로 수렴함을 보장한다.
• 수치 계산을 가능하게 하기 위해 입력 공간은 유한 집합 U^ε로 이산화되며, 사례 연구에서는 ε = 0.2를 사용한다.

실험 결과

연구 질문

• RQ1 연속시간 확률적 시스템의 이산 근사는 MITL 사양을 만족할 확률을 최대화하는 제어 정책을 합성하는 데 사용될 수 있는가?
• RQ2 이산 MDP에서 계산된 최적 정책이 이산화가 더 미세해질수록 원래 연속 시스템의 최적 정책으로 수렴하는가?
• RQ3 실시간 제약 조건이 있는 시간 논리 사양은 어떻게 표현하고 확률적 제어 프레임워크에 통합할 수 있는가?
• RQ4 이러한 방법의 계산적 확장성은 고차원 또는 복잡한 시스템에 대해 어떻게 되는가?
• RQ5 이 방법은 유계 시간 MTL 및 신호 시간 논리(STL) 공식으로 확장될 수 있는가?

주요 결과

• 예제에서 초기 상태 (0.5, 0.5, 0)에서 MITL 공식 φ에 대해 이산 MDP에서 계산된 최적 정책은 만족 확률 0.54를 달성하였으며, 이는 20개의 시뮬레이션 경로 중 11개가 사양을 만족시킴을 의미한다.
• 값 반복 알고리즘이 50회 반복 내에서 수렴하였으며, 정밀도 0.01을 기준으로 표준 데스크톱에서 한 번의 반복에 약 6분이 소요되었다.
• 예제의 제품 MDP는 도달할 수 없는 상태를 제거한 후 총 58,809개의 상태를 가졌으며, 제품 MDP의 계산에 18분이 소요되었다.
• 공간 단위 h와 시간 단위 δ를 줄일수록 이산 최적 정책이 조밀한 시간 최적 정책으로 수렴하는 것으로 나타났다.
• 더 미세한 이산화(h = (0.2, 0.2, π/4)^T 및 δ < 0.1)는 제품 MDP의 상태 수가 608,303개로 증가시키며, 이는 확장성의 한계를 보여준다.
• 저자들은 암묵적 근사 및 병렬/분산 알고리즘을 확장성 문제를 완화하기 위한 유망한 미래 방향으로 지목한다.