[논문 리뷰] Optimal Control of MDPs with Temporal Logic Constraints

Mária Svoreňová, Ivana Černá외 1명|arXiv (Cornell University)|2013. 03. 08.

Formal Methods in Verification참고 문헌 14인용 수 6

한 줄 요약

이 논문은 선형 시간 논리(LTL) 사양을 만족하면서도 감시 상태에 대한 연속적인 방문 간 평균 비용을 최소화하는 마코프 결정 과정(MDP)에서 제어 정책을 합리적으로 합성하는 최적 알고리즘을 제시한다. 자동차 기반 모델 체킹과 게임 이론 기법을 융합함으로써, 정확성과 최적성을 보장하는 유한 기억 전략을 계산하며, 로봇 감시 사례 연구에서 사이클당 평균 비용 40.5를 달성하여 이전의 부분 최적 동적 프rogramming 방법을 능가한다.

ABSTRACT

In this paper, we focus on formal synthesis of control policies for finite Markov decision processes with non-negative real-valued costs. We develop an algorithm to automatically generate a policy that guarantees the satisfaction of a correctness specification expressed as a formula of Linear Temporal Logic, while at the same time minimizing the expected average cost between two consecutive satisfactions of a desired property. The existing solutions to this problem are sub-optimal. By leveraging ideas from automata-based model checking and game theory, we provide an optimal solution. We demonstrate the approach on an illustrative example.

연구 동기 및 목표

• 실수 비용을 고려한 MDP에서 LTL 제약 조건 하에 최적 제어 합성의 격차를 메우기 위해.
• 시간 논리 사양을 만족시키고, 바람직한 상태에 대한 연속적인 방문 간 기대 평균 비용을 최소화하는 방법을 개발하기 위해.
• 기존 문헌에서의 부분 최적 동적 프로그래밍 기반 해법의 비최적성 문제를 해결하기 위해.
• 최근 게임 이론과 확률적 모델 체킹의 발전을 활용하여 전체 LTL 사양에 대해 타당하고 완전한 해결책을 제공하기 위해.

제안 방법

• 원본 MDP와 LTL 공식을 표현하는 라빈 자동차의 제품 MDP를 구성하기 위해.
• LTL 사양을 만족하는 장기적 행동을 지원하는 최대 종단 구성요소(MAEC)를 제품 MDP에서 식별하기 위해.
• 각 MAEC 내에서 사이클당 평균 비용을 최소화하는 최적 전략을 계산하기 위해 게임 이론 기법을 적용하기 위해.
• 먼저 MAEC에 도달하고 나서는 그 안에서 최적 전략을 따르는 유한 기억 전략을 사용하기 위해.
• 최근의 $1\frac{1}{2}$-플레이어 게임 이론 결과를 활용하여 해의 최적성을 보장하기 위해.
• 가능한 한 동안 감시 단계를 동적으로 단축시키는 규칙을 통합하여 효율성을 높이되, 최적성은 훼손하지 않기 위해.

Figure 1 : Illustration of Alg. 1 . A part of an MAEC $\mathcal{N}$ is shown in the left. An auxiliary MDP $X$ is constructed by transforming actions of $\mathcal{N}$ to partial stationary strategies. The MDP $X$ after eliminating the state $v$ is shown on the right. The costs associated with action

실험 결과

연구 질문

• RQ1 MDP에 대해 LTL 공식을 만족시키면서도 감시 상태에 대한 연속적인 방문 간 기대 평균 비용을 최소화하는 제어 정책을 합성할 수 있는가?
• RQ2 이 제어 합성 문제에서 부분 최적 동적 프로그래밍 히우리스틱에 의존하는 것 대신 최적성을 달성할 수 있는가?
• RQ3 자동차 기반 모델 체킹과 게임 이론 기법을 어떻게 융합하여 시간 논리 제약 조건 하에 최적 제어 문제를 해결할 수 있는가?
• RQ4 유한 기억 제어와 단계 기반 실행을 고려할 때 최적 전략의 구조는 어떠한가?
• RQ5 제안된 방법은 평균 비용 per 사이클 측면에서 기존의 부분 최적 접근 방법과 정량적으로 어떻게 비교되는가?

주요 결과

• 제안된 방법은 로봇 감시 사례 연구에서 사이클당 평균 비용(ACPC) 40.5를 달성하였으며, 이는 [11]에서 부분 최적 방법이 달성한 50.5 ACPC보다 낮다.
• 라운드당 평균 수행 작업 수는 130이었고, 중앙값은 단지 14였으며, 이는 라운드 역사와 무관한 안정적이고 효율적인 성능를 나타낸다.
• 실행의 98%에서 각 라운드의 두 번째 단계가 최적화 규칙에 의해 단축되었으며, 이는 불필요한 감시 사이클을 크게 줄였다.
• 기본 상태로의 고정 경로 덕분에, 1보다 큰 라운드에서 첫 번째 단계(기본 상태 복귀)의 단계 수는 항상 5로 일정했다.
• 최적 전략은 먼저 최대 종단 구성요소(MAEC)에 도달하고 나서는 그 안에서 최적 전략을 따르는 유한 기억 정책으로 합성되었다.
• 해결책은 전체 LTL에 대해 타당하고 완전하며, 이전의 부분 최적 접근 방법과 달리 이 클래스 문제에 대해 최초로 최적 해결책을 제공한다.

Figure 2 : (a) Initialized MDP $\mathcal{M}$ with initial state 0. The costs of applying $\alpha,\beta,\gamma$ in any states are 5, 10, 1, respectively, e.g., $g(1,\alpha)=5$ . (b) Definitions of strategies $C_{init},C_{p1},C_{p2}$ for $\mathcal{M}$ , the projections of strategies $C_{0},C_{\mathcal