[논문 리뷰] Partially Observable Markov Decision Processes (POMDPs) and Robotics

Hanna Kurniawati|arXiv (Cornell University)|2021. 07. 15.

Reinforcement Learning in Robotics참고 문헌 77인용 수 4

한 줄 요약

이 논문은 로봇 공학 분야에서 부분 관측 가능 마르코프 결정 과정(POMDP)의 적용을 검토하며, 샘플링 기반 근사 해법이 POMDP의 이론적으로 계산이 불가능한 문제를 극복한 바를 강조한다. 이는 이제 불확실하고 부분 관측 가능한 환경에서 안정적이고 실시간으로 의사결정을 내릴 수 있게 해주며, 이는 탐색, 조작, 인간-로봇 협업과 같은 복잡한 로봇 작업에 POMDP를 실용적으로 적용할 수 있게 한다.

ABSTRACT

Planning under uncertainty is critical to robotics. The Partially Observable Markov Decision Process (POMDP) is a mathematical framework for such planning problems. It is powerful due to its careful quantification of the non-deterministic effects of actions and partial observability of the states. But precisely because of this, POMDP is notorious for its high computational complexity and deemed impractical for robotics. However, since early 2000, POMDPs solving capabilities have advanced tremendously, thanks to sampling-based approximate solvers. Although these solvers do not generate the optimal solution, they can compute good POMDP solutions that significantly improve the robustness of robotics systems within reasonable computational resources, thereby making POMDPs practical for many realistic robotics problems. This paper presents a review of POMDPs, emphasizing computational issues that have hindered its practicality in robotics and ideas in sampling-based solvers that have alleviated such difficulties, together with lessons learned from applying POMDPs to physical robots.

연구 동기 및 목표

• 이전에 로봇 공학 분야에서의 활용을 저지르던 POMDP의 계산 불가능성 문제를 해결한다.
• 샘플링 기반 근사 해법이 실세계 로봇 공학 문제에 대한 POMDP의 확장성과 실용성을 어떻게 크게 향상시켰는지 설명한다.
• POMDP의 구현을 방해하는 주요 계산 문제들—큰 상태공간, 관측공간, 행동공간, 장기 계획 수평, 복잡한 동역학 등—을 검토한다.
• POMDP를 로봇 시스템에 통합하는 데 도움이 되는 실용적인 구현 전략과 소프트웨어 도구를 제시한다.
• POMDP와 강화학습 간의 상호보완적 관계를 설명하며, 특히 모델 기반 베이지안 강화학습 및 딥 러닝 접근법에서의 응용을 강조한다.

제안 방법

• 로봇 공학 문제의 불확실성 하에서의 계획 문제를 6개의 원소로 구성된 POMDP로 수식화한다: $\langle\mathcal{S}, \mathcal{A}, \mathcal{O}, T, Z, R\rangle$, 여기서 $\mathcal{S}$, $\mathcal{A}$, $\mathcal{O}$ 는 각각 상태공간, 행동공간, 관측공간을 나타낸다.
• 로봇의 믿음 상태를 가능한 상태들에 대한 확률 분포로 표현함으로써 부분 관측 가능 환경에서의 의사결정을 가능하게 한다.
• 샘플링 기반 근사 해법(예: 몬테카를로 트리 탐색, 포인트 기반 방법 등)을 사용하여 정확한 계산을 피하면서도 근사 최적의 정책을 효율적으로 계산한다.
• 믿음 공간 계획을 통해 정보 확보와 목표 달성 사이의 균형을 이루는 행동을 계산하며, 행동과 관측의 확률 모델을 활용한다.
• 불확실한 전이 및 보상 함수를 부분 관측 가능한 매개변수로 모델링하여 POMDP를 강화학습과 통합하고, 온라인 믿음 갱신을 가능하게 한다.
• 딥 러닝 기법을 적용하여 POMDP의 구조를 신경망에 통합함으로써 모델 기반과 모델리스 학습을 융합하여 정책의 일반화 능력을 향상시킨다.

실험 결과

연구 질문

• RQ1 POMDP의 높은 계산 복잡도에도 불구하고 실세계 로봇 공학 문제에 효과적으로 적용할 수 있는 방법은 무엇인가?
• RQ2 큰 상태공간 및 관측공간과 같은 계산적 과제들이 로봇 분야에서 POMDP의 확장성에 어떤 영향을 미치는가?
• RQ3 샘플링 기반 해법이 실시간 로봇 의사결정에 대한 POMDP의 실용성을 얼마나 향상시키는가?
• RQ4 불확실한 환경에서 POMDP는 정보 수집과 작업 수행 간의 균형을 자연스럽게 어떻게 유지하는가?
• RQ5 POMDP와 현대의 강화학습 간의 관계는 무엇인가? 특히 모델 기반 및 딥 러닝 프레임워크에서의 관계는 어떻게 되는가?

주요 결과

• 샘플링 기반 POMDP 해법은 이제 합리적인 시간 내에 고품질의 정책을 계산할 수 있게 하여, POMDP를 실세계 로봇 공학 응용에 실용적으로 가능하게 하였다.
• POMDP는 수중 탐색, 부분 지식 기반 물체 조작, 인간-로봇 협업 등 불확실한 환경에서 시스템의 강건성을 크게 향상시킨다.
• POMDP와 강화학습의 통합은 에이전트가 작업 성능과 모델 불확실성 양자를 동시에 학습할 수 있게 하여 적응 능력을 향상시킨다.
• POMDP의 구조를 신경망에 통합하는 딥 러닝 기법은 순수 모델리스 접근법보다 더 나은 일반화 성능을 달성한다.
• 오픈소스 소프트웨어 도구와 믿음 공간 계획 인터페이스가 이제 로봇 스택에 POMDP를 구현하는 데 지원을 제공하여 실용적 적용을 용이하게 하고 있다.
• 다른 확장성 과제가 남아 있음에도 불구하고, 현재의 방법들은 장기 수평 및 복잡한 동역학 시나리오를 포함한 다양한 로봇 공학 문제에서 강건성을 향상시키는 데 충분히 기여하고 있다.