[論文レビュー] Stick-Breaking Policy Learning in Dec-POMDPs

Miao Liu, Christopher Amato+3 more|arXiv (Cornell University)|May 1, 2015

Fuel Cells and Related Materials参考文献 32被引用数 10

ひとこと要約

本稿では、ベイジアンノンパrametric枠組みであるDec-SBPRを提案する。これは、スティック分割事前分布を用いて、分散型部分的観測可能マルコフ意思決定過程（Dec-POMDPs）における可変サイズの有限状態コントローラー（FSCs）を学習する。学習はオフラインの軌道データに基づき、変分ベイズアルゴリズムを用い、完全なDec-POMDPモデルの必要なしにスケーラブルかつ高性能な方策学習を実現する。ベンチマーク問題において、固定サイズFSC手法を上回る性能を発揮する。

ABSTRACT

Expectation maximization (EM) has recently been shown to be an efficient algorithm for learning finite-state controllers (FSCs) in large decentralized POMDPs (Dec-POMDPs). However, current methods use fixed-size FSCs and often converge to maxima that are far from optimal. This paper considers a variable-size FSC to represent the local policy of each agent. These variable-size FSCs are constructed using a stick-breaking prior, leading to a new framework called \emph{decentralized stick-breaking policy representation} (Dec-SBPR). This approach learns the controller parameters with a variational Bayesian algorithm without having to assume that the Dec-POMDP model is available. The performance of Dec-SBPR is demonstrated on several benchmark problems, showing that the algorithm scales to large problems while outperforming other state-of-the-art methods.

研究の動機と目的

• 分散型部分的観測可能マルコフ意思決定過程（Dec-POMDPs）における最適な固定サイズの有限状態コントローラー（FSC）の選定という課題に取り組む。これは、しばしば過小または過剰パラメータ化により、部分的最適な方策に終わることがある。
• ベイジアンノンパラメトリック手法を用いて、FSCサイズを自動で決定できるスケーラブルかつモデルフリーな学習フレームワークを開発すること。
• 完全なモデルへのアクセスを必要とせず、行動、観測、報酬のオフライン軌道データのみを用いて、大規模なDec-POMDPsにおける効率的な方策学習を可能にすること。
• データ駆動の事後分布推論に基づき、動的にコントローラーの複雑さを調整することにより、収束速度と方策品質を向上させること。

提案手法

• スティック分割事前分布を用いて可変サイズのFSCを構築し、学習中に事後分布によって有効状態数が決定されるようにする。
• 実証的価値関数（行動軌道から導出）から直接FSCパラメータを推定するために、変分ベイズ（VB）推論アルゴリズムを適用する。
• 従来の計画＝推論フレームワークで用いられる動的ベイズネットの複雑な尤度モデリングを回避するため、シフトされた実証的価値関数を用いる。
• 各エージェントごとに、修正されたバウム＝ウェルチ方式のアルゴリズムを用いて、前向きおよび後向きメッセージ（α, β）を再帰的に計算し、効率的なVB更新を支援する。
• 観測された行動および観測頻度に基づき、濃度パラメータを更新することで、スティック分割プロセスの事後ハイパーパラメータを導出する。
• エージェント数に線形に、問題サイズに最大で二次的にスケーリングされ、大規模なDec-POMDPsへの応用を可能にする。

実験結果

リサーチクエスチョン

• RQ1 ベイジアンノンパラメトリックアプローチは、事前に指定なしに、Dec-POMDPsにおける有限状態コントローラーの最適サイズを自動で同定できるか？
• RQ2 スティック分割事前分布を用いた可変サイズFSCによる学習は、固定サイズFSCと比較して、方策品質および収束速度においてどのように異なるか？
• RQ3 変分ベイズアルゴリズムは、完全なモデルへのアクセスなしに、オフラインの軌道データのみを用いて、高品質な方策を効果的に学習できるか？
• RQ4 提案手法は、大規模なDec-POMDP問題に対してもスケーリング可能であり、最先端の手法と比較して性能を維持または向上させられるか？

主な発見

• Dec-SBPRは、複数のベンチマーク用Dec-POMDP問題において、最先端の手法を上回り、より高い期待累積報酬を達成した。
• アルゴリズムは大規模問題に対しても効率的にスケーリングされ、計算複雑度はエージェント数に線形であり、問題サイズに最大で二次的である。
• スティック分割事前分布により、コンパクトで効果的なFSCが自動的に発見され、過大な固定サイズコントローラーによる過学習が回避された。
• 固定サイズFSCアプローチがしばしば部分的最適解に陥るのに対し、本手法はより速く収束し、より高品質な方策に到達した。
• 実験結果から、チューニングされた最適サイズの固定サイズFSCですら、Dec-SBPRで学習された可変サイズFSCに劣ることが示された。
• フレームワークは、行動、観測、報酬の軌道データのみを用いたモデルフリーかつバッチ学習設定において、高品質な方策を効果的に学習した。