[논문 리뷰] Open Problem: Approximate Planning of POMDPs in the class of Memoryless Policies

Kamyar Azizzadenesheli, Alessandro Lazaric외 1명|arXiv (Cornell University)|2016. 08. 17.

Optimization and Search Problems참고 문헌 12인용 수 3

한 줄 요약

이 논문은 확률적 무기억 정책 하에서 부분 관측 마르코프 결정 과정(POMDPs)의 근사 계획 문제를 열린 문제로 규명하며, 무기억 정책은 계획을 단순화하지만 최적 또는 근사 최적 정책을 찾는 것은 여전히 NP-난해하고 비볼록임을 강조한다. 주요 기여는 이 클래스에서의 확장 가능한 근사 계획 문제를 불확실성 하에서 순차적 결정 문제 분야의 핵심 미해결 과제로 프레임화하는 데 있다.

ABSTRACT

Planning plays an important role in the broad class of decision theory. Planning has drawn much attention in recent work in the robotics and sequential decision making areas. Recently, Reinforcement Learning (RL), as an agent-environment interaction problem, has brought further attention to planning methods. Generally in RL, one can assume a generative model, e.g. graphical models, for the environment, and then the task for the RL agent is to learn the model parameters and find the optimal strategy based on these learnt parameters. Based on environment behavior, the agent can assume various types of generative models, e.g. Multi Armed Bandit for a static environment, or Markov Decision Process (MDP) for a dynamic environment. The advantage of these popular models is their simplicity, which results in tractable methods of learning the parameters and finding the optimal policy. The drawback of these models is again their simplicity: these models usually underfit and underestimate the actual environment behavior. For example, in robotics, the agent usually has noisy observations of the environment inner state and MDP is not a suitable model. More complex models like Partially Observable Markov Decision Process (POMDP) can compensate for this drawback. Fitting this model to the environment, where the partial observation is given to the agent, generally gives dramatic performance improvement, sometimes unbounded improvement, compared to MDP. In general, finding the optimal policy for the POMDP model is computationally intractable and fully non convex, even for the class of memoryless policies. The open problem is to come up with a method to find an exact or an approximate optimal stochastic memoryless policy for POMDP models.

연구 동기 및 목표

• 확률적 무기억 정책 하에서 POMDP에 대한 확장 가능한 근사 계획 방법의 부족을 다루기.
• 무기억 정책에서 최적 정책을 찾는 것이, 민감도가 낮은 민감도 기반 계획보다는 단순해지지만 여전히 NP-난해하고 비볼록임을 규명하기.
• 기존 강화학습 문헌에서 추정과 탐색은 다루어지지만, 무기억 정책에 대한 효율적 계획은 해결되지 않은 격차를 부각하기.
• 약간의 조건 하에서 무기억 정책 클래스에서 최적에 ε-근접한 성능을 달성하는 새로운 방법을 요구하기.
• 학습, 계획, 탐색 간의 루프를 완성하기 위해 POMDP의 무기억 정책에 대한 누락된 계획 요소를 집중적으로 다루기.

제안 방법

• 상태, 행동, 관측, 보상 공간과 관련된 전이, 보상, 관측 밀도를 포함한 튜플을 사용해 POMDP를 수식화하기.
• 무기억 정책를 관측에서 행동으로의 사상으로 정의하며, 조건부 확률 분포 $ f_{\pi}(a|\vec{y}) $로 매개변수화하기.
• 정책의 평균 보상은 $ \eta(\pi;M) = \sum_x \omega_\pi(x) \overline{r}_\pi(x) $로 표현하며, 여기서 $ \omega_\pi $는 정적 상태 분포이다.
• 정책 $ \pi $ 하에서 유도된 마르코프 체인은 전이 밀도 $ f_{T,\pi}(x'|x) = \sum_{a,\vec{y}} f_\pi(a|\vec{y}) f_O(\vec{y}|x) f_T(x'|x,a) $로 모델링하기.
• 최적 정책을 $ \pi^* = \arg\max_\pi \eta(\pi;M) $로 프레임화하며, 최적화의 비볼록성과 PSPACE-완전성에 중점을 두기.
• 복잡성의 배경으로 기하학적 표현과 민감도 공간 분할을 사용하지만, 해법 방법으로는 사용하지 않기.

실험 결과

연구 질문

• RQ1 POMDP의 최적 확률적 무기억 정책을 근사할 때의 근본적인 계산적 및 구조적 과제는 무엇인가?
• RQ2 무기억 정책 클래스에서의 계획은 민감도 기반 계획보다 단순한 데도 불구하고 여전히 NP-난해한가?
• RQ3 무기억 정책 클래스에서 최적 성능에 ε-근접한 정책을 찾을 수 있는 확장 가능한 근사 방법을 개발할 수 있는가?
• RQ4 무기억 정책 근사화를 실용적으로 가능하고 효과적으로 만들기 위한 조건이나 가정은 무엇인가?
• RQ5 기존의 학습 및 탐색 기술의 진전에도 불구하고, POMDP의 모델 기반 강화학습에서 계획 요소를 어떻게 보완하여 루프를 완성할 수 있는가?

주요 결과

• 확률적 무기억 정책 하에서 POMDP의 최적 정책은 계산이 NP-난해하나, 민감도 기반 계획보다는 단순한 클래스임에도 불구하고 여전히 계산이 어렵다.
• 무기억 정책 클래스에서의 계획은 여전히 비볼록적이며 PSPACE-완전하므로, 근본적인 알고리즘 비가역성이 있음이 나타난다.
• 무기억 정책과 민감도 기반 정책 간의 성능 격차는 유계가 아니며, 이는 더 나은 근사 방법의 필요성을 정당화한다.
• 예를 들어 포인트 기반 값 반복 또는 히우리스틱 검색과 같은 기존 방법들은 최적 무기억 정책 근사화의 核심 과제를 해결하지 못한다.
• 무기억 정책 공간에 대한 기하학적 및 구조적 통찰은 존재한다(예: Montufar 등, 2015), 그러나 확장 가능한 근사 알고리즘이 알려져 있지 않다.
• 열린 문제는 여전히 해결되지 않았다: 최적 무기억 정책을 이론적으로 보장되거나 실용적으로 확장 가능한 방식으로 계산하거나 근사할 수 있는 방법이 알려져 있지 않다.