[論文レビュー] Hilbert Space Embeddings of POMDPs

Yu Nishiyama, Abdeslam Boularias+2 more|arXiv (Cornell University)|Oct 16, 2012

Water Systems and Optimization参考文献 23被引用数 21

ひとこと要約

本稿では、再帰的ヒルバート空間（RKHS）への状態、観測、行動の確率分布の埋め込みを用いて、部分的に観測可能なマルコフ意思決定過程（POMDP）における非パrametricな方策学習手法を提案する。カーネル・ベイズの定理を用いて信念状態を推定し、特徴空間におけるベルマン方程式を定式化することで、パrametricな仮定を必要とせずに価値反復法による最適方策の学習が可能となる。実験により、特徴空間表現を用いた方策の回復が成功したことが確認された。

ABSTRACT

A nonparametric approach for policy learning for POMDPs is proposed. The approach represents distributions over the states, observations, and actions as embeddings in feature spaces, which are reproducing kernel Hilbert spaces. Distributions over states given the observations are obtained by applying the kernel Bayes' rule to these distribution embeddings. Policies and value functions are defined on the feature space over states, which leads to a feature space expression for the Bellman equation. Value iteration may then be used to estimate the optimal value function and associated policy. Experimental results confirm that the correct policy is learned using the feature space representation.

研究の動機と目的

• 状態空間が高次元的であるか、未知である場合にPOMDPにおける最適方策を学習する課題に対処すること。
• 信念状態推定および方策表現におけるパラメトリックモデルの限界を克服すること。
• 強い分布仮定を必要とせず、特徴空間における価値反復を可能にする非パラメトリックフレームワークの構築。
• 状態遷移や観測モデルの明示的知識がなくても、観測データのみを用いてエンドツーエンドの方策学習を可能にすること。

提案手法

• カーネル平均埋め込みを用いて、状態・観測・行動の連合分布および条件付き分布を再帰的ヒルバート空間（RKHS）の要素として表現すること。
• 埋め込み分布にカーネル・ベイズの定理を適用し、観測に基づく状態の後ろ向き確率（信念状態）を推定すること。
• 価値関数および方策を、状態のRKHS上で直接定義することで、非パラメトリックな関数的表現を可能にすること。
• 特徴空間におけるベルマン方程式を定式化し、カーネルベースの操作を用いて価値関数の反復的更新を可能にすること。
• カーネルリッジ回帰または類似手法を用いて、特徴空間内のサンプル遷移から価値関数を推定すること。
• 特徴空間における価値反復を実行し、最適価値関数に収束させ、対応する方策を抽出すること。

実験結果

リサーチクエスチョン

• RQ1 POMDPにおいて、カーネルベースの分布埋め込みを用いて、非パラメトリックな信念状態推定を効果的に実現できるか？
• RQ2 再帰的ヒルバート空間においてベルマン方程式をどのように再定式化すれば、パラメトリックな仮定なしに価値反復を可能にすることができるか？
• RQ3 状態遷移や観測モデルの明示的知識がなくても、カーネルによる分布埋め込みのみを用いて最適方策を観測データから学習できるか？
• RQ4 提案手法は、POMDPにおける標準的なパラメトリック手法と比較して、正しい方策を回復する性能をどの程度達成できるか？

主な発見

• 提案手法は、観測データとカーネルベースの表現のみを用いて、実験的評価において正しく最適方策を学習した。
• 分布の埋め込みにカーネル・ベイズの定理を適用することで、信念状態が正確に推定され、効果的な方策学習が可能となった。
• 特徴空間における価値反復プロセスが収束し、POMDPにおける非パラメトリック動的計画法の実現可能性が示された。
• 特に状態分布が複雑または未知である設定において、パラメトリックベースラインと比較して競争力ある性能を達成した。
• 遷移や観測モデルの明示的なパラメトリック形式が不要であるため、モデル化バイアスが低減された。