[논문 리뷰] Hindsight is Only 50/50: Unsuitability of MDP based Approximate POMDP Solvers for Multi-resolution Information Gathering

Sankalp Arora, Sanjiban Choudhury외 1명|arXiv (Cornell University)|2018. 04. 07.

Reinforcement Learning in Robotics참고 문헌 26인용 수 5

한 줄 요약

이 논문은 다중 해상도, 예산 제약이 있는 정보 수집 작업에서 MDP 기반 근사 POMDP 솔버의 근본적 한계를 규명하며, 이러한 솔버가 최적의 POMDP 해법에서 핵심적인 역할을 하는 정보 수집 동작을 우선시하지 못함을 입증한다. 저자들은 이러한 솔버가 증명 가능하게 최적해가 아니 되는 조건을 수식적으로 정의하고, 고전적인 타이거 문제와 UAV 기반의 다중 해상도 경로 계획 시나리오를 활용해 검증하여, 정보성 동작의 忽略로 인해 가치 측면에서 60 단위 이상의 성능 격차가 발생함을 보여준다.

ABSTRACT

Partially Observable Markov Decision Processes (POMDPs) offer an elegant framework to model sequential decision making in uncertain environments. Solving POMDPs online is an active area of research and given the size of real-world problems approximate solvers are used. Recently, a few approaches have been suggested for solving POMDPs by using MDP solvers in conjunction with imitation learning. MDP based POMDP solvers work well for some cases, while catastrophically failing for others. The main failure point of such solvers is the lack of motivation for MDP solvers to gain information, since under their assumption the environment is either already known as much as it can be or the uncertainty will disappear after the next step. However for solving POMDP problems gaining information can lead to efficient solutions. In this paper we derive a set of conditions where MDP based POMDP solvers are provably sub-optimal. We then use the well-known tiger problem to demonstrate such sub-optimality. We show that multi-resolution, budgeted information gathering cannot be addressed using MDP based POMDP solvers. The contribution of the paper helps identify the properties of a POMDP problem for which the use of MDP based POMDP solvers is inappropriate, enabling better design choices.

연구 동기 및 목표

• 정보 수집 작업에서 MDP 기반 근사 POMDP 솔버가 증명 가능하게 최적해가 아니 되는 조건을 규명하는 것.
• 최적의 POMDP 결과를 이끌어내는 데 핵심적인 역할을 하는 정보성 동작을 선택하지 못함에도 불구하고, 이러한 솔버가 불확실성 감소에 기여하는 동작을 간과함을 입증하는 것.
• 다중 해상도, 예산 제약이 있는 정보 수집 문제들이 MDP-POMDP 솔버에 적합하지 않은 본질적 특성을 드러내고, 정보 확보를 우선시하지 못하는 데 기인함을 보여주는 것.
• MDP-POMDP 솔버가 부적절한 문제를 식별할 수 있는 공식 기준을 제시하여, 보다 나은 솔버 설계 선택을 가능하게 하는 것.
• 고전적인 타이거 문제와 UAV 기반의 다중 해상도 경로 계획 작업을 통해 이론적 결과를 검증하는 것.

제안 방법

• 정보성 동작—즉각적인 보상을 주지 않지만 불확실성을 감소시키는 동작—을 MDP-POMDP 솔버의 부적절성에 대한 핵심 지표로 수식화하는 것.
• 최적의 MDP 정책에서 이러한 동작이 존재하지 않을 경우 MDP 기반 솔버가 실패하는 조건을 분석함으로써 실패 원인을 정의하는 것.
• POMDP 문제의 믿음 공간에서 성능을 추정하기 위해 후회 최적화(hindsight optimization)와 QMDP 스타일 근사법을 적용하는 것.
• 알려진 자동차 위치 불확실성이 존재하는 UAV 기반의 다중 해상도 정보 수집 작업을 설정하여 MDP와 POMDP 솔루션을 비교하는 것.
• 최적의 POMDP 정책과 MDP 기반 근사치 간의 가치 차이를 계산하여 최적해에서의 열등성을 정량화하는 것.
• 정보 수집을 유도하기 위해 보상 형상화(reward shaping)를 적용한 정보 공간에서 MDP 솔버가 작동하는 파이프라인을 제안하는 것—이는 잠재적 해결책으로서의 접근.

실험 결과

연구 질문

• RQ1 MDP 기반 근사 POMDP 솔버가 증명 가능하게 최적해가 아니 되는 조건는 무엇인가?
• RQ2 왜 MDP-POMDP 솔버는 POMDP 문제에서 불확실성을 감소시키는 정보성 동작을 선택하지 못하는가?
• RQ3 타이거 문제는 MDP-POMDP 솔버가 정보 수집에서 실패하는 표준 사례로 사용될 수 있는가?
• RQ4 다중 해상도, 예산 제약이 있는 정보 수집 작업에서의 최적해에서의 열등성은 UAV를 활용할 경우 어떻게 나타나는가?
• RQ5 정보 공간에서 사용되는 MDP 솔버에 보상 형상화를 적용하면 성능을 복구할 수 있는가?

주요 결과

• 정보성 동작—즉각적인 보상을 주지 않지만 불확실성을 감소시키는 동작—이 최적의 POMDP 해법에 필요할 경우, MDP 기반 근사 POMDP 솔버는 최적해가 아니 된다.
• 타이거 문제에서는 MDP-POMDP 솔버가 고양이의 위치를 듣는 것을 선택하지 않아, 잘못된 문을 여는 확률이 50%에 달하고, 높은 벌칙을 떠넘기게 된다.
• UAV 기반의 다중 해상도 경로 계획 작업에서는 MDP-POMDP 솔버가 '위로' 동작(자동차 위치를 드러내는 동작)을 피하여, 후회 최적화 하에 가치가 34.125에 그치지만, 최적의 POMDP 정책에서는 96에 이른다.
• UAV 작업에서 최적의 POMDP 정책과 MDP-POMDP 솔버 간의 가치 격차는 61.875 단위에 이르며, 주로 정보의 가치와 정보성 동작에서 기인하는 보상 손실 때문이 다.
• UAV 작업에서 정보의 기대 가치는 63.875이며, 이는 MDP-POMDP 솔버가 불확실성 감소의 전체 가치를 포착하지 못하고 있음을 시사한다.
• 본 연구는 MDP-POMDP 솔버가 부적절한 문제를 조기에 식별할 수 있는 공식 기준을 제시하여, 부적절한 솔버 선택을 피할 수 있도록 한다.