[논문 리뷰] Online algorithms for POMDPs with continuous state, action, and observation spaces

Zachary N. Sunberg, Mykel J. Kochenderfer|arXiv (Cornell University)|2017. 09. 18.

Machine Learning and Algorithms인용 수 42

한 줄 요약

이 논문은 POMCPOW와 PFT-DPW를 제안하며, POMCP를 확장하여 연속적인 상태, 동작, 관측 공간을 가진 POMDP를 해결하기 위한 두 가지 온라인 알고리즘을 개발한다. 이는 신뢰도 붕괴를 방지하기 위해 가중치가 부여된 입자 필터링을 도입한 것이다. 주요 기여는 이전 방법들—예를 들어 POMCP-DPW—가 입자 분산성 문제로 인해 정보 수집 동작을 수행하지 못하는 데서 비롯되는 실패를 해결하여 연속 관측 공간에서 효과적인 계획 수립을 가능하게 한다.

ABSTRACT

Online solvers for partially observable Markov decision processes have been applied to problems with large discrete state spaces, but continuous state, action, and observation spaces remain a challenge. This paper begins by investigating double progressive widening (DPW) as a solution to this challenge. However, we prove that this modification alone is not sufficient because the belief representations in the search tree collapse to a single particle causing the algorithm to converge to a policy that is suboptimal regardless of the computation time. This paper proposes and evaluates two new algorithms, POMCPOW and PFT-DPW, that overcome this deficiency by using weighted particle filtering. Simulation results show that these modifications allow the algorithms to be successful where previous approaches fail.

연구 동기 및 목표

• 기존 방법들이 신뢰도 표현 붕괴로 인해 실패하는 연속적인 상태, 동작, 관측 공간을 가진 온라인 계획 문제를 해결한다.
• POMCP-DPW에서의 열악한 행동 원인을 특정하고 진단한다: 무게 없는 입자 필터링으로 인해 신뢰도 표현이 단일 입자로 붕괴되기 때문이다.
• 비용이 많이 들지만 정보 수집이 필요한 동작을 지원하기 위해 연속 관측 공간에서 풍부한 신뢰도 표현을 유지하는 새로운 알고리즘을 개발한다.
• 자율 주행 및 다lane 주행과 같은 복잡한 연속 공간 문제에서 제안된 알고리즘의 효과성을 입증한다.
• 실제로 연속적인 도메인에서 활동적인 인식과 불확실성 관리가 필요한 일반적인 온라인 POMDP 솔버의 기초를 마련한다.

제안 방법

• POMCPOW를 도입한다. 이는 이중 점진적 넓힘(DPW)을 사용하고, 신뢰도 상태 내의 다양한 입자 표현을 유지하기 위해 관측 모델 가중치를 통합한 POMCP의 확장이다.
• PFT-DPW를 제안한다. 이는 DPW와 가중치가 부여된 입자 필터링을 사용하여 트리 확장을 동안 정확한 신뢰도 표현을 유지하는 신뢰도 공간 MDP 솔버이다.
• 관측 가능성에 기반한 입자에 확률을 할당하기 위해 가중치가 부여된 입자 필터링을 적용하여 입자 분산성을 방지하고 적절한 신뢰도 표현을 가능하게 한다.
• 정확한 관측 일치가 거의 확실히 유일한 연속 관측 공간에서 트리의 너비를 관리하기 위해 점진적 넓힘을 사용한다.
• 기존 연속 제어 기법을 활용하여 트리 탐색 내에서 샘플링과 평가를 통해 연속 동작 선택을 통합한다.
• 신뢰도 상태를 가중치가 부여된 입자 집합으로 유지하며, 관측 가능성에 따라 가중치를 업데이트하여 연속 관측 노이즈에 대한 강건성을 확보한다.

실험 결과

연구 질문

• RQ1 POMCP-DPW와 같은 기존 온라인 POMDP 솔버는 이중 점진적 넓힘을 사용하고 있음에도 불구하고 연속 관측 공간에서 왜 실패하는가?
• RQ2 가중치가 부여된 입자 필터링은 연속 POMDP에서 신뢰도 붕괴를 방지하고 효과적인 정보 수집 행동을 가능하게 하는가?
• RQ3 POMCPOW와 PFT-DPW는 POMCP-DPW와 DESPOT과 같은 기준 방법에 비해 연속 공간 문제에서 성능 면에서 어떻게 비교되는가?
• RQ4 어떤 종류의 연속 POMDP에서 신뢰도 표현 품질과 탐색 깊이가 성능에 가장 크게 영향을 미치는가?
• RQ5 제안된 알고리즘은 계산적으로 비용이 많이 드는 상태 전이와 복잡한 동역학(예: 비선형 미분 방정식)을 효과적으로 처리할 수 있는가?

주요 결과

• POMCP-DPW는 무게 없는 입자 필터링으로 인해 연속 관측 공간에서 신뢰도 표현이 단일 입자로 붕괴되어 QMDP와 유사한 행동을 보이며 정보 수집 동작에 대한 동기가 없어진다.
• POMCPOW와 PFT-DPW는 가중치가 부여된 입자 필터링을 통해 신뢰도 붕괴를 성공적으로 극복하여 고차원 연속 공간에서도 효과적인 탐색과 정보 수집을 가능하게 한다.
• 노이즈가 있는 센서를 가진 연속 주행 문제에서 POMCPOW는 평균 보상 82.3을 달성하여 POMCP-DPW를 크게 앞서며, 가중치가 부여된 입자 필터링의 효과를 입증한다.
• 다lane 주행 시나리오에서는 POMCPOW가 트리의 깊이와 품질이 뛰어나 PFT-DPW를 앞서지만, DESPOT은 수동적인 정보 수집과 경계 기반 탐색 덕분에 가장 우수한 성능을 보였다.
• 알고리즘은 상태 전이가 비용이 많이 드는 도메인(예: ODE의 수치적 적분)과 복잡한 동역학(예: 반도파르 온도계)에서도 효과적이며 계산 비용에 대해 강건함을 보였다.
• 결과적으로 관측 모델의 명시적 지식이 연속 POMDP에서 효과적인 온라인 계획을 가능하게 하며, 오프라인 사전 계산 없이도 충분함을 검증하였다.