[논문 리뷰] Probably Approximately Correct MDP Learning and Control With Temporal Logic Constraints

Jie Fu, Ufuk Topcu|arXiv (Cornell University)|2014. 04. 28.

Formal Methods in Verification참고 문헌 13인용 수 64

한 줄 요약

이 논문은 선형 시간 논리(LTL) 사양을 최대한 충족시키는 확률을 극대화하는 미지의 마르코프 결정 과정(MDP)에서 제어 정책을 합성하기 위한 샘플 효율적이고 모델 기반 강화 학습 알고리즘을 제안한다. 반복적으로 MDP 전이 확률을 학습하고 사양 온톨로지와 함께 제품 MDP를 구성함으로써, 이 방법은 MDP 크기, 사양 온톨로지 크기, 정확도/신뢰도 파라미터에 대해 다항 시간, 공간 및 샘플 복잡도로 $\varepsilon$-최적 정책을 $1-\delta$ 확률로 보장한다.

ABSTRACT

We consider synthesis of control policies that maximize the probability of satisfying given temporal logic specifications in unknown, stochastic environments. We model the interaction between the system and its environment as a Markov decision process (MDP) with initially unknown transition probabilities. The solution we develop builds on the so-called model-based probably approximately correct Markov decision process (PAC-MDP) methodology. The algorithm attains an $\varepsilon$-approximately optimal policy with probability $1-δ$ using samples (i.e. observations), time and space that grow polynomially with the size of the MDP, the size of the automaton expressing the temporal logic specification, $\frac{1}{\varepsilon}$, $\frac{1}δ$ and a finite time horizon. In this approach, the system maintains a model of the initially unknown MDP, and constructs a product MDP based on its learned model and the specification automaton that expresses the temporal logic constraints. During execution, the policy is iteratively updated using observation of the transitions taken by the system. The iteration terminates in finitely many steps. With high probability, the resulting policy is such that, for any state, the difference between the probability of satisfying the specification under this policy and the optimal one is within a predefined bound.

연구 동기 및 목표

• 복잡한 시간 논리 사양을 충족시키는 확률을 극대화하는 미지의 확률적 시스템을 위한 제어 정책을 합성하는 문제에 대응하기 위해.
• 강화 학습에 시간 논리 제약을 통합하기 위해 확률적으로 근거 있는 정확성(PAC-MDP) 프레임워크를 확장하기 위해.
• 전이 확률이 초기에는 알려져 있지 않은 상황에서도 유한 시간 내에 높은 확률로 약간 최적의 정책으로 수렴하도록 보장하기 위해.
• 독립적이고 동일하게 분포된(i.i.d.) 샘플이 필요로 하지 않는 조건에서 온라인 학습 중 탐색과 이용을 균형 있게 조절하기 위해.
• 핵심 문제 파라미터에 대해 다항적으로 증가하는 샘플, 시간 및 공간 복잡도에 대한 이론적 보장을 제공하기 위해.

제안 방법

• 시스템-환경 상호작용을 전이 확률이 알려지지 않은 MDP로 모델링하고, 관측된 전이로부터 점진적으로 업데이트되는 학습된 모델을 유지한다.
• 학습된 MDP와 LTL 사양을 나타내는 결정성 라빈 온톨로지의 조합을 통해 제품 MDP를 구성한다.
• 탐색(모델 정밀도 향상)과 이용(충족 확률 극대화)을 균형 잡는 값 반복 기반 정책 업데이트를 사용한다.
• 신뢰도 기반 탐색 전략을 적용하여, 관측 빈도에서 유도된 고확률 신뢰구간을 사용해 전이 확률을 업데이트한다.
• 수렴 기준은 진짜 MDP와 학습된 MDP의 충족 확률 차이가 $\varepsilon$ 이내에 있으며 확률 $1-\delta$로 유지됨을 보장한다.
• 이론적 분석을 통해 시간 단계에 걸쳐 시간 단계별로 누적된 충족 확률의 차이를 $\varepsilon$ 이내로 제한하는 텔레스코프 합 수식을 사용해 가치 함수의 오차를 근거로 한다.

실험 결과

연구 질문

• RQ1 미지의 MDP에 대해 주어진 LTL 사양을 충족시키는 확률을 높은 신뢰도로 극대화하는 제어 정책을 합성할 수 있는가?
• RQ2 문제의 샘플, 시간 및 공간 복잡도는 문제 파라미터에 대해 다항적으로 의존하는가?
• RQ3 i.i.d. 데이터가 필요로 하지 않는 조건에서 온라인 학습에서 탐색과 이용을 어떻게 균형 있게 조절할 수 있는가?
• RQ4 결과 정책이 $\varepsilon$ 이내의 최적 정책이 되는 것을 $1-\delta$ 확률로 보장할 수 있는가?
• RQ5 MDP 크기와 시간 논리 사양의 복잡도에 따라 이 접근법은 효율적으로 스케일업되는가?

주요 결과

• 제안된 알고리즘은 MDP 크기, 사양 온톨로지 크기, $1/\varepsilon$, $1/\delta$, 시간 수평에 대해 다항적으로 증가하는 샘플 수, 시간, 공간을 사용하여 $\varepsilon$-최적 정책을 확률 $1-\delta$로 달성한다.
• 이 방법은 어떤 초기 상태이든 간에 학습된 정책의 충족 확률과 최적 정책의 충족 확률 간의 차이가 $\varepsilon$ 이내로 제한됨을 보장한다.
• 오차 한계는 시간 단계에 걸친 텔레스코프 합을 통해 유도되며, 시간 단계별로 누적된 충족 확률의 차이가 $\varepsilon$ 이내로 제한됨을 보여준다.
• 알고리즘은 전이 확률에 대해 고확률 신뢰구간을 유지함으로써 모델 업데이트가 통계적으로 타당하고 수렴이 보장됨을 보장한다.
• 학습과 제어를 단일 반복 루프에 통합함으로써 i.i.d. 샘플이 필요로 하지 않게 되어 실시간 온라인 구현에 적합하다.
• 이 방법은 정책 최적성과 정확성에 대해 유한 시간 내에 고확률 보장을 제공하는 방식으로 PAC-MDP 학습과 LTL 사양 합성을 처음으로 결합한 것이다.