[論文レビュー] Modelling transition dynamics in MDPs with RKHS embeddings

Steffen Grünewälder, Guy Lever+3 more|Lancaster EPrints (Lancaster University)|Jun 18, 2012

Reinforcement Learning in Robotics参考文献 25被引用数 44

ひとこと要約

本稿では、確率密度推定を避けて条件付き分布を埋め込みとして表現することにより、再現核ヒルバート空間（RKHS）埋め込みを用いた非パrametricなマルコフ決定過程（MDP）の遷移ダイナミクスモデリング手法を提案する。このアプローチにより、最適方策またはRKHS内での最も近い射影への収束保証を伴う効率的な価値反復が可能となり、画像観測を伴う制御およびナビゲーションタスクにおいてベースライン手法を上回る性能を発揮する。

ABSTRACT

We propose a new, nonparametric approach to learning and representing transition dynamics in Markov decision processes (MDPs), which can be combined easily with dynamic programming methods for policy optimisation and value estimation. This approach makes use of a recently developed representation of conditional distributions as \emph{embeddings} in a reproducing kernel Hilbert space (RKHS). Such representations bypass the need for estimating transition probabilities or densities, and apply to any domain on which kernels can be defined. This avoids the need to calculate intractable integrals, since expectations are represented as RKHS inner products whose computation has linear complexity in the number of points used to represent the embedding. We provide guarantees for the proposed applications in MDPs: in the context of a value iteration algorithm, we prove convergence to either the optimal policy, or to the closest projection of the optimal policy in our model class (an RKHS), under reasonable assumptions. In experiments, we investigate a learning task in a typical classical control setting (the under-actuated pendulum), and on a navigation problem where only images from a sensor are observed. For policy optimisation we compare with least-squares policy iteration where a Gaussian process is used for value function estimation. For value estimation we also compare to the NPDP method. Our approach achieves better performance in all experiments.

研究の動機と目的

• 確率密度関数や質量関数の明示的推定を必要とせずに、MDPにおける遷移ダイナミクスを非パラメトリックに表現する手法の開発。
• 価値反復のような動的計画法との統合を可能にし、方策最適化および価値関数推定を実現すること。
• RKHSに基づく遷移モデルを用いた価値反復の理論的収束保証の提供。
• 古典的制御およびビジョンベースのナビゲーションタスクにおいて、既存手法を上回る性能の実証。
• 線形計算複雑性を有するRKHS内積を活用することで、期待値計算における扱いにくい積分を回避すること。

提案手法

• 条件付き遷移分布を再現核ヒルバート空間（RKHS）における埋め込みとして表現することで、密度推定を回避した非パラメトリックモデリングを実現する。
• 遷移ダイナミクスはカーネルベースの埋め込みで符号化され、期待値がRKHS内積として計算されることで計算複雑度が低減される。
• カーネルトリックを活用することで明示的な統合を回避し、状態行動価値期待値の効率的計算を可能にする。
• 価値反復はRKHS埋め込みを用いた遷移ダイナミクスに適応され、標準的なMDP仮定のもとで収束が証明されている。
• 動的計画法アルゴリズムと組み合わせることで、複雑なドメインにおける方策最適化および価値関数推定が可能になる。
• カーネルが定義可能な任意のドメインに適用可能であり、画像のような高次元観測空間にも対応可能である。

実験結果

リサーチクエスチョン

• RQ1 MDPにおける遷移ダイナミクスは、確率密度関数や質量関数の推定を伴わずに効果的にモデリング可能か？
• RQ2 RKHS埋め込みは、理論的収束保証付きで効率的かつスケーラブルな価値反復を可能にするか？
• RQ3 制御およびビジョンベースのタスクにおいて、RKHSベースの遷移モデルはパラメトリックおよび非パラメトリックのベースラインと比較してどのように差をつけるか？
• RQ4 明示的な特徴工学を伴わずに、画像のような高次元観測を処理できるか？
• RQ5 埋め込みベースのアプローチは、ガウス過程ベースおよびNPDPベースの手法に比べ、価値推定および方策学習で優れた性能を発揮するか？

主な発見

• 提案手法は、アンダーアクチュエーテッド・ペンダulumおよびナビゲーションタスクの両方において、ガウス過程による価値関数推定を用いた最小二乗方策反復法よりも優れた性能を達成した。
• NPDPアプローチに比べて価値推定において優れた性能を示し、優れたサンプル効率性と正確性を兼ね備えた。
• 妥当な仮定のもとで、価値反復の収束が最適方策またはRKHSモデルクラス内での最も近い射影に保証される。
• 期待値計算の計算複雑度は、埋め込み表現に使用されるデータポイント数に対して線形に増加する。
• ナビゲーションタスクにおける画像ベースの観測を効果的に処理でき、高次元入力空間に対しても頑健であることが示された。
• 実験結果により、古典的制御およびビジョンベースの強化学習設定の両方で、本手法の有効性が確認された。