[논문 리뷰] Qualitative Possibilistic Mixed-Observable MDPs

Nicolas Drougard, Florent Teichteil-Königsbuch외 2명|arXiv (Cornell University)|2013. 09. 26.

Reinforcement Learning in Robotics참고 문헌 16인용 수 3

한 줄 요약

이 논문은 부분 관측 가능성을 활용하여 계산 복잡도를 감소시키는, 가능도 기반 혼합관측 가능 MDP(π-MOMDP)를 소개한다. 일부 상태 변수가 완전히 관측 가능하다는 가정 하에, 무한 시간 계획에서 최적 정책을 달성하는 값 반복 알고리즘을 제안하며, 모호한 관측이 있는 목표 인식 작업에서 기존의 확률 기반 POMDP보다 뛰어난 성능을 보인다.

ABSTRACT

Possibilistic and qualitative POMDPs (pi-POMDPs) are counterparts of POMDPs used to model situations where the agent's initial belief or observation probabilities are imprecise due to lack of past experiences or insufficient data collection. However, like probabilistic POMDPs, optimally solving pi-POMDPs is intractable: the finite belief state space exponentially grows with the number of system's states. In this paper, a possibilistic version of Mixed-Observable MDPs is presented to get around this issue: the complexity of solving pi-POMDPs, some state variables of which are fully observable, can be then dramatically reduced. A value iteration algorithm for this new formulation under infinite horizon is next proposed and the optimality of the returned policy (for a specified criterion) is shown assuming the existence of a "stay" action in some goal states. Experimental work finally shows that this possibilistic model outperforms probabilistic POMDPs commonly used in robotics, for a target recognition problem where the agent's observations are imprecise.

연구 동기 및 목표

• 믿음 공간의 지수적 증가로 인해 해결이 불가능한 질적 가능도 기반 POMDP(π-POMDP) 문제를 해결하기 위해.
• 일부 상태 변수가 완전히 관측 가능하다는 부분 관측 가능성을 활용하여 계산 복잡도를 감소시키기 위해.
• 이 새로운 프레임워크에서 무한 시간 계획을 위한 값 반복 알고리즘을 개발하기 위해.
• 모호한 관측이 있는 실제 로봇 공학 애플리케이션에서 표준 확률 기반 POMDP보다 제안된 모델의 우수성을 입증하기 위해.

제안 방법

• 일부 상태 변수가 완전히 관측 가능한 혼합관측 가능 MDP(MOMDP)의 가능도 기반 버전을 수학적으로 정의하여, 믿음 공간 복잡도를 감소시킨다.
• 확률 대신 가능도 이론을 사용하여 불확실성을 표현하는 질적 가능도 기반 프레임워크에 값 반복을 적응시킨다.
• 관측되지 않은 상태에 대한 가능도 분포와 관측된 상태의 결정론적 관측을 결합하는 믿음 갱신 메커니즘을 적용한다.
• 값 반복 과정의 수렴성과 최적성을 보장하기 위해 목표 상태에 '그대로 머무르기'(stay) 행동을 도입한다.
• 가장 높은 가능도로 목표 상태에 도달할 수 있도록 보장하는 가능도 이론 기반의 정책 최적성 기준을 정의한다.
• 혼합관측 가능성 구조를 활용하여 지수적 증가를 피하는 유한 상태 추상화를 적용한다.

실험 결과

연구 질문

• RQ1 혼합관측 가능성은 질적 가능도 기반 POMDP의 계산 복잡도를 감소시킬 수 있는가?
• RQ2 무한 시간 계획을 위한 π-MOMDP에 대해 정책 최적성을 보장하는 값 반복 알고리즘을 설계할 수 있는가?
• RQ3 제안된 가능도 기반 모델은 실제 인식 과제에서 표준 확률 기반 POMDP와 비교해 어떻게 성능을 발휘하는가?
• RQ4 목표 상태에 '그대로 머무르기' 행동을 포함시키면 가능도 기반 설정에서 수렴성과 최적성이 보장되는가?

주요 결과

• 제안된 π-MOMDP 프레임워크는 상태 변수의 부분 관측 가능성을 활용하여 질적 POMDP의 해결 복잡도를 크게 감소시킨다.
• '그대로 머무르기' 행동이 목표 상태에 존재한다는 가정 하에, 값 반복 알고리즘이 주어진 기준에 따라 최적 정책으로 수렴한다.
• 실험 결과, 모호한 관측이 있는 목표 인식 과제에서 가능도 기반 모델이 표준 확률 기반 POMDP보다 뛰어난 성능을 보였다.
• 관측 데이터가 적거나 신뢰할 수 없을 경우일수록 성공 가능성 측면에서 더 뛰어난 성능을 달성한다.