[논문 리뷰] Permissive Finite-State Controllers of POMDPs using Parameter Synthesis

Sebastian Junges, Nils Jansen외 5명|arXiv (Cornell University)|2017. 10. 24.

Reinforcement Learning in Robotics참고 문헌 1인용 수 5

한 줄 요약

이 논문은 부분적으로 관찰 가능한 마르코프 결정 과정(POMDPs)에 대해 증명 가능하게 올바르고 유한 메모리, 랜덤화된 제어기(FSCs)를 합성하는 새로운 방법을 제안한다. 문제는 매개변수화된 마르코프 체인(pMCs)에서의 매개변수 합성으로 환원된다. 이 접근법은 기존의 pMC 도구들인 PRISM과 PARAM을 활용하여 허용 가능한, 거의 최적의 FSCs를 효율적으로 계산하며, 표준 벤치마크에서 최신의 POMDP 해법기들과 경쟁 가능한 성능을 달성한다. 일반적으로 작은 메모리 한계를 사용하여 몇 초 이내에 해결된다.

ABSTRACT

We study finite-state controllers (FSCs) for partially observable Markov decision processes (POMDPs) that are provably correct with respect to given specifications. The key insight is that computing (randomised) FSCs on POMDPs is equivalent to - and computationally as hard as - synthesis for parametric Markov chains (pMCs). This correspondence allows to use tools for parameter synthesis in pMCs to compute correct-by-construction FSCs on POMDPs for a variety of specifications. Our experimental evaluation shows comparable performance to well-known POMDP solvers.

연구 동기 및 목표

• 예상 보상과 도달-피하기 확률과 같은 복잡한 사양을 갖는 POMDP에 대해 유한 상태 제어기(FSCs)를 정의에 따라 올바르게 합성하는 데 도전하는 것.
• POMDP 전략 합성과 매개변수화된 마르코프 체인(pMC) 매개변수 합성 간의 격차를 메우며, 이들이 계산적으로 동일하다는 것을 보여주는 것.
• 완성된 최적화된 pMC 합성 도구들(예: PRISM, PARAM)을 사용해 POMDP에서 FSC 생성을 가능하게 하여 전용 POMDP 해법기들과 경쟁 가능한 대안을 제공하는 것.
• 허용 가능한 전략을 FSC의 매개변수 할당 영역으로서 탐색하고 형식화함으로써 제어 합성의 강건성과 유연성을 향상시키는 것.
• 표준 POMDP 벤치마크에서 이 방법을 평가하여, 작은 메모리 한계에서도 확장성과 거의 최적의 성능를 입증하는 것.

제안 방법

• 핵심 통찰은 고정된 FSC 아키텍처를 가진 POMDP가 전이 확률이 FSC의 행동 선택에 의해 유도되는 매개변수화된 마르코프 체인(pMC)과 등가임을 보여주는 것이다.
• FSC 합성 문제는 pMC에서의 매개변수 합성으로 환원된다: POMDP의 전략은 pMC 내의 매개변수 할당에 대응한다.
• 최신의 pMC 도구들(예: PRISM, PARAM, PROPhESY)을 사용해 매개변수 합성 문제를 해결하며, 최적화 및 확장성 기능을 활용한다.
• 두 가지 매개변수 합성 기법을 평가한다: 순차적 정수계획법(QCQP)과 입자군집최적화(PSO)이며, 둘 다 사양을 만족하는 매개변수 할당을 찾는 데 사용된다.
• 이 방법은 단일 최적 점이 아닌, 사양을 만족하는 매개변수 값의 영역을 식별함으로써 허용 가능한 전략을 지원한다.
• SMT와 매개변수 립팅 기법을 사용해 주어진 임계값을 초월해 더 나은 전략이 존재하지 않음을 증명함으로써 ε-최적성의 증명을 위한 메커니즘을 포함한다.

실험 결과

연구 질문

• RQ1 기존의 매개변수 합성 도구들을 사용해 POMDP의 유한 상태 제어기(FSCs)를 정의에 따라 올바르게 합성할 수 있는가?
• RQ2 POMDP에서의 FSC 합성의 계산 복잡도는 pMC에서의 매개변수 합성과 어떻게 관련이 있는가?
• RQ3 pMC 기반 합성은 전용 POMDP 해법기들과 비교해 성능나이 최적성 면에서 경쟁력 있거나 슈퍼어리어한 FSCs를 생성할 수 있는가?
• RQ4 메모리 크기와 FSC 아키텍처(예: 전체 연결 대비 카운터 기반)는 합성 과정의 확장성과 성능에 어떤 영향을 미치는가?
• RQ5 이 방법은 합성된 FSCs의 ε-최적성을 증명하고, 유도된 확률에 대한 닫힌 형태의 표현식을 계산할 수 있는가?

주요 결과

• 논문은 POMDP에서의 FSC 합성과 pMC에서의 매개변수 합성 간의 공식적 동치성을 확립하며, 두 문제 모두 동일한 난이도를 가짐을 보여준다.
• 이 방법은 경쟁 가능한 성능를 달성한다: 수천 개의 상태를 가진 많은 벤치마크들이 작은 메모리 한계(k ≤ 8)를 사용해 1초 이내에 해결된다.
• 동일한 벤치마크 세트에서 QCQP와 PSO는 상호 보완적인 성능를 보이며, 어느 한쪽이 모든 인스턴스에서 우월하지는 않으며, 일부에서는 QCQP가 더 빠르고, 다른 일부에서는 PSO가 더 빠르다.
• 매개변수 립팅과 SMT를 사용해, 수백 개의 매개변수를 가진 경우에도 비트리비얼 임계값까지 ε-최적성을 성공적으로 증명하였다.
• 작은 메모리 한계에서는 닫힌 형태의 해를 계산했지만, 복잡도는 매우 다양했다. 예를 들어, 한 경우는 상수 함수를 도출했고, 다른 경우는 약 100만 개의 항을 가진 유리 함수를 생성했다.
• 카운터 기반 FSCs(메모리 노드가 순차적으로 진행됨)는 매개변수 폭발을 줄이며, 전체 연결 FSCs에 비해 더 큰 인스턴스를 해결할 수 있도록 한다.