[論文レビュー] POMCPOW: An online algorithm for POMDPs with continuous state, action, and observation spaces.

Zachary N. Sunberg, Mykel J. Kochenderfer|arXiv (Cornell University)|Sep 18, 2017

Reinforcement Learning in Robotics参考文献 26被引用数 13

ひとこと要約

本稿では、連続的な状態空間、行動空間、観測空間を有する部分的に可観測マルコフ決定過程（POMDP）に対するオンラインアルゴリズムPOMCPOWを提案する。この手法は、二重プログレッシブワイドニング（DPW）と重み付きパーティクルフィルタリングを組み合わせることで、信念の崩壊を防ぎ、効果的な方策学習を可能にする。従来の手法がパーティクルの劣化により失敗する連続的問題において、優れた性能を達成する。

ABSTRACT

Online solvers for partially observable Markov decision processes have been applied to problems with large discrete state spaces, but continuous state, action, and observation spaces remain a challenge. This paper begins by investigating double progressive widening (DPW) as a solution to this challenge. However, we prove that this modification alone is not sufficient because the belief representations in the search tree collapse to a single particle causing the algorithm to converge to a policy that is suboptimal regardless of the computation time. The main contribution of the paper is to propose a new algorithm, POMCPOW, that incorporates DPW and weighted particle filtering to overcome this deficiency and attack continuous problems. Simulation results show that these modifications allow the algorithm to be successful where previous approaches fail.

研究の動機と目的

• 既存のオンラインソルバが困難としている、連続的な状態空間、行動空間、観測空間を有するPOMDPを解く課題に対処すること。
• 二重プログレッシブワイドニング（DPW）が連続的POMDPに対して単独で十分であるかどうかを検討し、信念表現におけるその限界を同定すること。
• DPWと重み付きパーティクルフィルタリングを統合することで、パーティクルベースの信念表現における信念の崩壊を克服する新しいアルゴリズムを開発すること。
• 堅牢でスケーラブルな信念表現と行動選択を用いて、連続的POMDPにおける効果的なオンライン計画を可能にすること。

提案手法

• アルゴリズムは、探索木における行動空間および観測空間を動的に拡張するために、二重プログレッシブワイドニング（DPW）を適用することで、連続的POMDPへのオンライン計画を拡張する。
• 信念の多様性と代表性を維持するため、標準的なパーティクルフィルタリングで見られる単一のパーティクルへの崩壊を防ぐために、重み付きパーティクルフィルタリングを組み込む。
• 信念状態は重み付きパーティクルの集合として表現され、観測尤度に基づいて重みが更新され、事後確率を反映する。
• 探索と活用のバランスをとるUCB1に基づく選択方針を用いて、連続的行動空間および観測空間における探索木を拡張する。
• アルゴリズムは、現在の信念状態から軌道をシミュレートすることでオンライン計画を実行し、パーティクルフィルタリングを用いて信念を行動と観測を通じて伝播させる。
• DPWと重み付きパーティクルフィルタリングの新規な組み合わせにより、信念の多様性が持続され、近似的最適方策への収束が可能になる。

実験結果

リサーチクエスチョン

• RQ1 二重プログレッシブワイドニング（DPW）が単独で連続的POMDPを解くのに十分であり、信念の崩壊を引き起こさないか？
• RQ2 DPWと組み合わせた重み付きパーティクルフィルタリングが、連続的POMDPにおいて信念の多様性を効果的に維持できるか？
• RQ3 提案されたPOMCPOWアルゴリズムは、従来の手法と比較して、連続的問題における方策の質と収束性においてどのように異なるか？
• RQ4 信念表現の質が、連続的領域におけるオンラインPOMDPソルバの性能に与える影響は何か？

主な発見

• 二重プログレッシブワイドニング（DPW）が単独で使用されると、信念の崩壊が生じ、計算時間に関係なく部分最適方策に収束する。
• 重み付きパーティクルフィルタリングをDPWと統合することで、信念の崩壊が効果的に防止され、安定的かつ多様な信念表現が実現される。
• POMCPOWは、従来の手法がパーティクルの劣化により失敗する連続的POMDPにおいて、成功した方策学習を達成する。
• シミュレーション結果から、POMCPOWはベンチマークとして用いられる連続的POMDP問題において、従来の手法を上回る性能を示し、より高い期待報酬と良好な収束性を達成している。