[論文レビュー] Hierarchical POMDP Controller Optimization by Likelihood Maximization

Marc Toussaint, Laurent Charlin+1 more|arXiv (Cornell University)|Jun 13, 2012

Machine Learning and Algorithms参考文献 18被引用数 75

ひとこと要約

本稿では、問題を動的ベイジアンネットワークに変換することで、階層的POMDPコントローラーの最尤推定に基づく最適化手法を提案する。この手法により、部分的に観測可能な環境におけるタスク階層のスケーラブルな発見が可能となり、従来の非凸最適化手法よりもスケーラビリティを向上させつつ、効果的なポリシー学習を維持する。

ABSTRACT

Planning can often be simpli ed by decomposing the task into smaller tasks arranged hierarchically. Charlin et al. [4] recently showed that the hierarchy discovery problem can be framed as a non-convex optimization problem. However, the inherent computational di culty of solving such an optimization problem makes it hard to scale to realworld problems. In another line of research, Toussaint et al. [18] developed a method to solve planning problems by maximumlikelihood estimation. In this paper, we show how the hierarchy discovery problem in partially observable domains can be tackled using a similar maximum likelihood approach. Our technique rst transforms the problem into a dynamic Bayesian network through which a hierarchical structure can naturally be discovered while optimizing the policy. Experimental results demonstrate that this approach scales better than previous techniques based on non-convex optimization.

研究の動機と目的

• 部分的に観測可能なドメインにおける階層的POMDPコントローラー最適化の計算的困難さに対処すること。
• 複雑な計画問題におけるタスク階層のスケーラブルな発見を可能にすること。
• 最尤推定を活用して階層的構造におけるポリシー最適化を改善すること。
• 非凸最適化の限界を克服するために、動的ベイジアンネットワークを用いて問題を再定式化すること。

提案手法

• 時間的および階層的依存関係をモデル化するため、階層的POMDP計画問題を動的ベイジアンネットワークに変換する。
• 模倣データから最適な階層的コントローラー構造を学ぶために最尤推定を適用する。
• 尤度最大化フレームワークを用いて、ポリシーのパラメータと階層構造を同時に最適化する。
• 潜在変数を扱うために変分推論または期待最大化手法を用いる。
• 階層的コントローラーをPOMDPフレームワークに統合し、部分観測下での逐次意思決定を支援する。
• 動的ベイジアンネットワークの構造を活用して計算複雑性を低減し、スケーラビリティを向上させる。

実験結果

リサーチクエスチョン

• RQ1 最尤推定はPOMDPにおける階層的構造の発見に効果的に適用可能か？
• RQ2 提案手法は、既存の非凸最適化手法と比較して、どのようにスケーリングするか？
• RQ3 動的ベイジアンネットワークの定式化は、部分的に観測可能な環境における効果的なポリシー最適化をサポートできるか？
• RQ4 階層的構造の発見が、POMDPコントローラーの性能および収束性に与える影響は何か？

主な発見

• 提案手法は、階層的POMDP学習における従来の非凸最適化手法よりも優れたスケーラビリティを達成した。
• 動的ベイジアンネットワークの定式化により、ポリシー最適化の過程で自然に階層的タスク構造が発見された。
• 最尤推定は、データからポリシーのパラメータと階層的組織の両方を効果的に学習した。
• 実験結果から、複雑なドメインにおいて計算オーバーヘッドを低減しながらも、優れた性能を維持していることが確認された。