[논문 리뷰] Finite Optimal Control for Time-Bounded Reachability in CTMDPs and Continuous-Time Markov Games

Markus N. Rabe, Sven Schewe|arXiv (Cornell University)|2010. 04. 22.

Reinforcement Learning in Robotics참고 문헌 11인용 수 4

한 줄 요약

이 논문은 연속시간 마르코프 결정과정(CTMDPs)과 연속시간 마르코프 게임(CTMGs)에서 시간 제한된 도달 가능성 문제에 대해 유한 최적 제어 전략의 존재성을 확립한다. 최적 스케줄러가 결정론적이고, 시간에 의존하는 위치 기반이며, 시간 구간의 유한 분할에 대해 조각별로 위치 기반임을 증명함으로써, 게임에서 상반된 목적이 존재하는 상황에서도 유한 최적 제어를 보장한다.

ABSTRACT

We establish the existence of optimal scheduling strategies for time-bounded reachability in continuous-time Markov decision processes, and of co-optimal strategies for continuous-time Markov games. Furthermore, we show that optimal control does not only exist, but has a surprisingly simple structure: The optimal schedulers from our proofs are deterministic and timed-positional, and the bounded time can be divided into a finite number of intervals, in which the optimal strategies are positional. That is, we demonstrate the existence of finite optimal control. Finally, we show that these pleasant properties of Markov decision processes extend to the more general class of continuous-time Markov games, and that both early and late schedulers show this behaviour.

연구 동기 및 목표

• 시간 제한된 도달 가능성 문제에 대해 CTMDPs에서 최적 제어가 존재하는지 여부를 오랫동안 미해결된 열린 문제로 해결하는 것.
• 대립하는 플레이어가 존재하는 더 복잡한 연속시간 마르코프 게임(CTMGs)의 설정으로 최적 제어의 존재를 확장하는 것.
• 최적 전략이 존재할 뿐 아니라, 구조적으로 끝없이 유한한 형태를 띤다는 것을 입증하는 것—구체적으로는 결정론적이고 시간에 의존하는 위치 기반이며, 유한한 전환 간격을 가짐.
• 기존 결과를 통합하고 일반화하여, 초기 및 후기 스케줄러 모델이 동일한 최적 제어 구조를 유도한다는 것을 보여주는 것.
• 유한성과 가측성의 최적 전략을 지원하는 위상수학적 및 컴actness 기반의 증명 프레임워크를 제공하는 것.

제안 방법

• 스케줄러 모델링을 단순화하고 초기 및 후기 스케줄러 간의 변환을 가능하게 하기 위해 CTMDPs에 이산적 위치를 도입한다.
• 열린 집합의 폐쇄에 대한 결정을 고정하여, 가측 최적 스케줄러의 존재를 위상적 추론을 통해 증명한다.
• 유계 시간 간격의 컴팩트성 적용으로 최적 전략이 유한 개의 시간 간격에 대해 조각별로 위치 기반임을 보여준다.
• 최적 값 함수를 위한 역방향 코모고로프 유형 미분방정식 유도: 도달 가능성에 대해 $-\dot{f}_{\mathsf{opt}}(l,t) = \max_{a} \sum_{l'} \mathbf{R}(l,a,l') \cdot (f_{\mathsf{opt}}(l',t) - f_{\mathsf{opt}}(l,t))$이며, 안전성에 대해서는 $\min$.
• 나시 균형이 동일한 미분방정식을 만족함을 보이고, 원통형의, 결정론적이고 시간에 의존하는 위치 기반 상호 최적 전략의 존재를 증명함으로써 결과를 CTMGs로 확장한다.

실험 결과

연구 질문

• RQ1 일반적인 스케줄러를 고려할 때, 연속시간 마르코프 결정과정(CTMDPs)에서 시간 제한된 도달 가능성 문제에 대해 최적 제어 전략이 존재하는가?
• RQ2 CTMDPs에서 최적 전략의 구조는 시간 구간의 분할에 대해 유한하고 위치 기반으로 특징지어질 수 있는가?
• RQ3 대립적인 목적이 존재하는 연속시간 마르코프 게임(CTMGs)으로 확장하여 최적 제어의 존재성과 유한성이 유지되는가?
• RQ4 초기 및 후기 스케줄러 의미론 모두에서 결정론적이고 시간에 의존하는 위치 기반, 유한한 전환점이라는 동일한 구조적 성질이 CTMGs에서 유지되는가?
• RQ5 무한한 상태나 동작이 존재할 경우, 시간 제한된 도달 가능성 문제에서 최적 전략의 유한성에 어떤 영향을 미치는가?

주요 결과

• 시간 제한된 도달 가능성 문제에 대해 CTMDPs에서 최적 스케줄러는 존재하며, 결정론적이며, 시간에 의존하는 위치 기반이며, 시간 간격의 유한 분할에 대해 조각별로 위치 기반이다.
• 최적 제어 전략은 미분방정식 시스템의 역방향 해법을 통해 계산될 수 있다: 도달 가능성에 대해 $-\dot{f}_{\mathsf{opt}}(l,t) = \max_{a} \sum_{l'} \mathbf{R}(l,a,l') \cdot (f_{\mathsf{opt}}(l',t) - f_{\mathsf{opt}}(l,t))$.
• CTMGs에서는 양 플레이어 모두에 대해 상호 최적 전략이 존재하며, 원통형이면서 결정론적이며 시간에 의존하는 위치 기반 전략을 이루며, 나시 균형을 형성한다.
• 최적 값 함수를 지배하는 미분방정식은 비율의 국소 균일화에 대해 불변이므로, 계산의 단순화를 가능하게 한다.
• 무한한 수의 상태나 동작이 존재할 경우, 최적 전략은 무한한 수의 전환점이 필요할 수 있으며, 이는 최적 전략의 유한성을 확보하기 위해 유한한 상태/동작 가정이 필수적임을 보여준다.
• 목표 영역이 흡수적이지 않은 경우에도 결과는 확장 가능하며, 종료 조건을 $f_{\mathsf{opt}}(l,t_{\max}) = 1$로 수정함으로써 동일한 미분방정식을 유지한다.