[論文レビュー] Modeling transition dynamics in MDPs with RKHS embeddings of conditional distributions

Steffen Grünewälder, Luca Baldassarre+3 more|arXiv (Cornell University)|Dec 20, 2011

Reinforcement Learning in Robotics参考文献 20被引用数 4

ひとこと要約

本稿では、遷移確率を明示的にモデル化することなく、条件付き分布の再生核ヒルベルト空間（RKHS）埋め込みを用いて価値関数を推定する非パrametric強化学習手法を提案する。期待値をRKHS内積として線形計算量で表現することで、連続的かつ部分的に観測可能な環境においても効率的な価値関数推定が可能となり、振り子制御タスクおよび画像ベースのナビゲーションタスクにおける実験で、ガウス過程を用いた最小二乗方策反復法のベースラインを上回る性能を発揮した。

ABSTRACT

We propose a new, nonparametric approach to estimating the value function in reinforcement learning. This approach makes use of a recently developed representation of conditional distributions as functions in a reproducing kernel Hilbert space. Such representations bypass the need for estimating transition probabilities, and apply to any domain on which kernels can be defined. Our approach avoids the need to approximate intractable integrals since expectations are represented as RKHS inner products whose computation has linear complexity in the sample size. Thus, we can efficiently perform value function estimation in a wide variety of settings, including finite state spaces, continuous states spaces, and partially observable tasks where only sensor measurements are available. A second advantage of the approach is that we learn the conditional distribution representation from a training sample, and do not require an exhaustive exploration of the state space. We prove convergence of our approach either to the optimal policy, or to the closest projection of the optimal policy in our model class, under reasonable assumptions. In experiments, we demonstrate the performance of our algorithm on a learning task in a continuous state space (the under-actuated pendulum), and on a navigation problem where only images from a sensor are observed. We compare with least-squares policy iteration where a Gaussian process is used for value function estimation. Our algorithm achieves better performance in both tasks.

研究の動機と目的

• 遷移確率を明示的に推定することなく、マルコフ決定過程における価値関数推定のための非パrametric手法を開発すること。
• カーネルに基づく表現を用いて、連続的かつ部分的に観測可能な状態空間における効率的な価値関数学習を可能にすること。
• 期待値をサンプルサイズに線形にスケーリングするRKHS内積として表現することにより、計算複雑度を低減すること。
• 妥当な仮定の下で、モデルクラス内での最適方策またはその最も近い射影に収束することを保証すること。
• 複雑な制御およびビジョンベースのタスクにおいて、既存手法（ガウス過程を用いた最小二乗方策反復法など）を上回る性能向上を実証すること。

提案手法

• 条件付き分布を再生核ヒルベルト空間（RKHS）内の関数として表現することで、密度推定を明示的に行わずに非パrametricモデリングが可能となる。
• 期待値をRKHS内積として計算することで、サンプルサイズに線形にスケーリングされ、高価な数値積分を回避できる。
• 訓練データセットから直接条件付き分布の表現を学習するため、状態空間の全探索を必要としない。
• カーネル法を用いて状態-行動空間における類似性を定義することで、カーネルが定義可能な多様なドメインへの応用が可能となる。
• 観測されたサンプルにおけるカーネル関数の評価を線形結合として表すレプリッカー定理を用いて価値関数を推定する。
• 標準的な仮定の下で収束性が確立され、最適方策またはモデルクラス内でのその最も近い近似に収束することが示された。

実験結果

リサーチクエスチョン

• RQ1 RKHSにおける条件付き分布の埋め込みは、遷移確率を明示的にモデル化することなく、MDPにおける効率的かつ非パrametricな価値関数推定を可能にするか？
• RQ2 RKHS内積表現により、期待値の計算が線形時間で可能となり、連続的かつ高次元の設定におけるスケーラビリティが向上するか？
• RQ3 本手法は、センサー観測値のみが利用可能な部分的に観測可能な環境にも一般化可能か？
• RQ4 連続的制御およびビジョンベースのナビゲーションにおいて、本手法の性能はガウス過程を用いた最小二乗方策反復法と比べてどのように異なるか？
• RQ5 どのような条件下で、本手法は最適方策またはモデルクラス内でのその最も近い射影に収束するか？

主な発見

• 提案手法は、連続的状態空間におけるアンダーアクチュエートド・ペンギン制御タスクにおいて、ガウス過程を用いた最小二乗方策反復法を上回る性能を達成した。
• 画像ベースのセンサー観測を入力として用いることで、部分的に観測可能な強化学習を効果的に処理し、ビジョンベースのナビゲーションにおけるロバスト性を示した。
• RKHS内積計算のおかげで、価値関数推定がサンプルサイズに線形にスケーリングされ、大規模データセットにおける効率的な学習が可能となった。
• 標準的な正則性仮定の下で、最適方策またはモデルクラス内でのその最も近い射影に収束することが保証され、理論的信頼性が確保された。
• 実験的結果から、条件付き分布のカーネルベース表現が、密度推定を明示的に行わず、かつ状態空間の全カバーを必要とせずに、正確な価値関数推定を可能にすることが示された。