[論文レビュー] Solving POMDPs by Searching in Policy Space

Eric A. Hansen|arXiv (Cornell University)|Jan 30, 2013

Reinforcement Learning in Robotics参考文献 13被引用数 189

ひとこと要約

この論文は、部分的に観測可能なマルコフ決定過程（POMDP）を解くための新しい手法を提案する。本手法は、価値関数空間ではなく、ポリシー空間における直接探索を通じて、有限状態制御装置として明示的にポリシーを表現し、反復的に改善する。この方法には、従来の価値反復を上回る性能を示すポリシー反復アルゴリズムと、到達可能な領域に計算を集中させるヒューリスティック探索の変種が含まれており、無限時間ホライズン問題において著しく効率が向上する。

ABSTRACT

Most algorithms for solving POMDPs iteratively improve a value function that implicitly represents a policy and are said to search in value function space. This paper presents an approach to solving POMDPs that represents a policy explicitly as a finite-state controller and iteratively improves the controller by search in policy space. Two related algorithms illustrate this approach. The first is a policy iteration algorithm that can outperform value iteration in solving infinitehorizon POMDPs. It provides the foundation for a new heuristic search algorithm that promises further speedup by focusing computational effort on regions of the problem space that are reachable, or likely to be reached, from a start state.

研究の動機と目的

• 価値関数空間手法の非効率性を是正するため、明示的なポリシー表現に焦点を移す。
• 無限時間ホライズンPOMDPにおいて、従来の価値反復を上回る性能を示すポリシー反復アルゴリズムを開発する。
• 到達可能な信念空間領域に計算リソースを集中させるヒューリスティック探索アルゴリズムを設計する。
• ポリシー空間探索が、従来の価値ベース手法と比較して、収束速度の向上とスケーラビリティの向上を実現できることを示す。

提案手法

• ポリシーを明示的に有限状態制御装置として表現し、直接的な操作と改善を可能にする。
• ポリシー反復を用いて、制御装置の構造と遷移確率を反復的に最適化する。
• 到達可能な信念状態に優先順位を付けることで、計算を無駄にしないようにする。
• POMDPの構造を活用し、信念空間の関連する領域でのみポリシー改善をガイドする。
• 探索中にポリシーの評価のための価値関数近似を用いることで、正確性を保ちつつ効率を向上させる。
• 刈り込みと展開のヒューリスティックを統合し、到達可能な信念領域における高インパクトなポリシー変更に注力する。

実験結果

リサーチクエスチョン

• RQ1 有限状態制御装置としての明示的ポリシー表現は、価値関数空間手法と比較して、POMDPの解法においてより速い収束をもたらすか？
• RQ2 初期信念から到達可能な信念状態に探索を集中させることで、POMDPにおける計算効率が向上するか？
• RQ3 明示的制御装置上で行うポリシー反復は、標準的な価値反復を上回る性能を示すか？
• RQ4 ポリシー空間探索におけるヒューリスティックガイドの影響は、解の品質と実行時間にどのように現れるか？
• RQ5 提案手法におけるポリシーの複雑さと性能のトレードオフは何か？

主な発見

• ポリシー反復アルゴリズムは、無限時間ホライズンPOMDPの解法において、価値反復を上回り、収束が速く、スケーラビリティも向上することが示された。
• ヒューリスティック探索の変種は、初期状態から到達可能な信念状態に計算を集中させることで、さらなる高速化を達成した。
• 明示的ポリシー表現により、暗黙の価値関数更新と比較して、より効率的かつ的確な改善が可能になった。
• 大規模または複雑な信念空間においても、解の品質を維持しながら計算負荷を削減できた。
• 特に高次元の観測や長いホライズンを持つドメインにおいて、ベンチマークPOMDP問題で顕著な性能向上を示した。
• 到達可能な信念空間の優先順位付けにより、最適性を損なわず、探索の負荷を著しく削減できた。