[논문 리뷰] POMCPOW: An online algorithm for POMDPs with continuous state, action, and observation spaces.

Zachary N. Sunberg, Mykel J. Kochenderfer|arXiv (Cornell University)|2017. 09. 18.

Reinforcement Learning in Robotics참고 문헌 26인용 수 13

한 줄 요약

이 논문은 연속 상태, 동작, 관측 공간을 가진 POMDP에 대한 온라인 알고리즘인 POMCPOW를 제안한다. 이 알고리즘은 피 particle 필터링과 이중 점진적 넓힘(DPW)을 결합하여 믿음 붕괴를 방지하고 효과적인 정책 학습을 가능하게 한다. 기존 방법이 입자 열악성으로 인해 실패하는 연속 문제에서 뛰어난 성능을 달성한다.

ABSTRACT

Online solvers for partially observable Markov decision processes have been applied to problems with large discrete state spaces, but continuous state, action, and observation spaces remain a challenge. This paper begins by investigating double progressive widening (DPW) as a solution to this challenge. However, we prove that this modification alone is not sufficient because the belief representations in the search tree collapse to a single particle causing the algorithm to converge to a policy that is suboptimal regardless of the computation time. The main contribution of the paper is to propose a new algorithm, POMCPOW, that incorporates DPW and weighted particle filtering to overcome this deficiency and attack continuous problems. Simulation results show that these modifications allow the algorithm to be successful where previous approaches fail.

연구 동기 및 목표

• 기존 온라인 솔버가 여전히 어려움을 겪는 연속 상태, 동작, 관측 공간을 가진 POMDP를 해결하는 데 도전한다.
• 이중 점진적 넓힘(DPW)이 연속 POMDP에 대해 믿음 표현의 한계를 고려하여 단독으로 충분한가를 조사한다.
• DPW와 가중 입자 필터링을 통합하여 입자 기반 믿음 표현에서 믿음 붕괴를 극복하는 새로운 알고리즘을 개발한다.
• 강건하고 확장 가능한 믿음 표현과 동작 선택을 통해 연속 POMDP에서 효과적인 온라인 계획을 가능하게 한다.

제안 방법

• 알고리즘은 검색 트리에서 행동 및 관측 공간을 동적으로 확장하기 위해 온라인 계획을 연속 POMDP에 적용하기 위해 이중 점진적 넓힘(DPW)을 적용한다.
• 표준 입자 필터링에서 관찰되는 단일 입자로의 붕괴를 방지하기 위해 다각도이고 대표적인 믿음 입자를 유지하기 위해 가중 입자 필터링을 통합한다.
• 믿음 상태는 가중치가 부여된 입자 집합으로 표현되며, 관측 가능성에 기반한 가중치가 갱신되어 후행 확률을 반영한다.
• 연속 동작 및 관측 공간에서 탐색과 이용의 균형을 이루기 위해 UCB1 기반 선택 정책을 사용하여 검색 트리를 확장한다.
• 알고리즘은 현재 믿음 상태에서부터 트레이젝터리를 시뮬레이션하고, 입자 필터링을 사용하여 행동과 관측을 통해 믿음을 전파함으로써 온라인 계획을 수행한다.
• DPW와 가중 입자 필터링의 새로운 조합은 지속적인 믿음 다양성을 보장하여 근사 최적 정책 수렴을 가능하게 한다.

실험 결과

연구 질문

• RQ1 이중 점진적 넓힘(DPW)이 믿음 붕괴 없이 연속 POMDP를 해결하는 데에 충분한가?
• RQ2 DPW와 함께 가중 입자 필터링이 연속 POMDP에서 믿음 다양성을 효과적으로 유지할 수 있는가?
• RQ3 제안된 POMCPOW 알고리즘이 기존 방법과 비교해 연속 문제에서 정책 품질과 수렴성 측면에서 어떻게 성능을 내는가?
• RQ4 믿음 표현 품질이 연속 도메인에서 온라인 POMDP 솔버 성능에 미치는 영향은 무엇인가?

주요 결과

• 이중 점진적 넓힘(DPW)만으로는 믿음 붕괴가 발생하여 계산 시간에 관계없이 부분 최적 정책로 수렴한다.
• DPW와 가중 입자 필터링의 통합은 믿음 붕괴를 성공적으로 방지하고 안정적이며 다양한 믿음 표현을 가능하게 한다.
• POMCPOW는 이전 방법이 입자 열악성으로 인해 실패하는 연속 POMDP에서 성공적인 정책 학습을 달성한다.
• 시뮬레이션 결과는 POMCPOW가 벤치마크 연속 POMDP 문제에서 기존 방법을 능가하며 더 높은 기대 수익과 더 나은 수렴성을 달성함을 보여준다.