[論文レビュー] Sparse Stochastic Finite-State Controllers for POMDPs

Eric A. Hansen|arXiv (Cornell University)|Jun 13, 2012

Optimization and Search Problems参考文献 13被引用数 7

ひとこと要約

本稿では、POMDPのためのスパース確率的有限状態コントローラーを提案し、コントローラーのパラメータのスパarsityを活用することで、ポリシー反復のスケーラビリティを向上させる。各ノードごとに非ゼロパラメータのみを対象とした線形計画問題を定式化することで、従来のバウンデッドポリシー反復と同等のポリシー改善が達成されるが、計算複雑度が著しく低減され、より大きなPOMDPの効率的解法が可能になる。

ABSTRACT

Bounded policy iteration is an approach to solving infinite-horizon POMDPs that represents policies as stochastic finite-state controllers and iteratively improves a controller by adjusting the parameters of each node using linear programming. In the original algorithm, the size of the linear programs, and thus the complexity of policy improvement, depends on the number of parameters of each node, which grows with the size of the controller. But in practice, the number of parameters of a node with non-zero values is often very small, and does not grow with the size of the controller. Based on this observation, we develop a version of bounded policy iteration that leverages the sparse structure of a stochastic finite-state controller. In each iteration, it improves a policy by the same amount as the original algorithm, but with much better scalability.

研究の動機と目的

• ポリシー反復のスケーラビリティのボトルネックを解消すること。特に、コントローラーのサイズに比例してポリシー改善の計算複雑度が増大する問題に焦点を当てる。
• 実用的なコントローラーにおいて、コントローラーのサイズが増大しても、多くのノードが少数の非ゼロパラメータしか持たないという事実を活用する。
• 各反復における線形計画問題のサイズを縮小するために、このスパarsityを活用するバウンデッドポリシー反復の変種を開発する。
• 元のアルゴリズムと同等のポリシー改善の質を維持しながら、計算コストを著しく削減する。
• 非ゼロパラメータにのみ計算を集中させることで、より大きな複雑なPOMDPのスケーラブルな解法を実現する。

提案手法

• 各ノードが行動確率をパラメータ化する確率的有限状態コントローラーとしてポリシーを表現する。
• 各コントローラーのノードごとに非ゼロパラメータを特定・分離し、そのスパース構造を活用する。
• 各ノードの非ゼロパラメータにのみ依存する線形計画問題を構築し、コントローラー全体のサイズではなく、ノードごとの非ゼロパラメータに焦点を当てる。
• これらのスパース線形計画問題を用いてバウンデッドポリシー反復を適用し、反復的にコントローラーを改善する。
• 各ポリシー改善ステップが、元の手法と同等の性能向上を達成することを保証し、収束保証を維持する。
• スパースな制約集合に最適化された効率的な線形計画ソルバーを用いることで、実行時間性能を向上させる。

実験結果

リサーチクエスチョン

• RQ1 コントローラーのパラメータにおけるスパarsityを活用することで、POMDPにおけるバウンデッドポリシー反復の計算複雑度を低減できるか？
• RQ2 アクティブなパラメータ数を減らしながらも同じポリシー改善の質を維持することで、スケーラビリティに顕著な向上が得られるか？
• RQ3 解像度の高いパラメータ空間を持つ問題において、スパース手法の性能は、元のバウンデッドポリシー反復と比べて、解の質と実行時間の両面でどのように差がつくか？
• RQ4 異なるPOMDP問題において、コントローラーのパラメータのスパarsityの程度はどの程度変動するか？また、その変動がアルゴリズムの効率にどのように影響するか？
• RQ5 収束性と最適性を維持するため、スパース線形計画問題を効果的に構築・解けるか？

主な発見

• 提案手法は、元のバウンデッドポリシー反復と同等のポリシー改善を達成しており、解の質に損失がないことを保証する。
• 非ゼロパラメータにのみ注目することで、線形計画問題のサイズが著しく縮小され、各反復の計算が顕著に高速化される。
• 元の手法が高次元パラメータ空間のため実行不能となるような、より大きなPOMDPにおいても、本手法は優れたスケーラビリティを示す。
• 実験的結果から、コントローラーのサイズが増大しても、ノードあたりの非ゼロパラメータ数が小さく安定していることが確認され、スパarsity仮定の妥当性が裏付けられる。
• 従来のバウンデッドポリシー反復では実現不可能だった、より大きな状態空間・行動空間を持つPOMDPの解法が、本手法によって可能になる。
• 特に高次元コントローラーを有する問題では、線形計画問題の複雑度が低減されるため、実行時間の性能向上が顕著に現れる。