[論文レビュー] Path Integral Control by Reproducing Kernel Hilbert Space Embedding

Konrad Rawlik, Marc Toussaint+1 more|arXiv (Cornell University)|Aug 13, 2012

Model Reduction and Neural Networks参考文献 23被引用数 20

ひとこと要約

本稿では、経路積分制御問題の再生核ヒルベルト空間（RKHS）埋め込みを用いて、モデルフリーで非パrametricな確率的最適制御手法を提案する。経路積分を直接サンプリングするのではなくRKHS内での共分散作用素の推定により、タスク間でサンプルを再利用可能となり、サンプルの複雑さが著しく低減され、共有されるダイナミクスを有する制御タスクにおける転移学習が可能になる。

ABSTRACT

We present an embedding of stochastic optimal control problems, of the so called path integral form, into reproducing kernel Hilbert spaces. Using consistent, sample based estimates of the embedding leads to a model free, non-parametric approach for calculation of an approximate solution to the control problem. This formulation admits a decomposition of the problem into an invariant and task dependent component. Consequently, we make much more efficient use of the sample data compared to previous sample based approaches in this domain, e.g., by allowing sample re-use across tasks. Numerical examples on test problems, which illustrate the sample efficiency, are provided.

研究の動機と目的

• 従来のモンテカルロ法が、各新しいタスクに対して再トレーニングが必要な場合に顕著に高まるサンプルの複雑さに対処すること。
• 再収集を必要とせず、関連する制御タスク間で転移学習を可能にする、モデルフリーで非パrametricなフレームワークの開発。
• 制御問題を不変（ダイナミクス）とタスク固有の成分に分解し、サンプル効率を向上させること。
• RKHS埋め込みを用いて経路積分のための一貫性がありスケーラブルな推定器を提供し、収束保証を確保すること。
• 線形に解けるMDPにとどまらず、より広範な確率的最適制御問題のクラスへも適用可能にすること。

提案手法

• 経路積分制御問題を再生核ヒルベルト空間（RKHS）に埋め込み、解を共分散作用素の推定問題に変換する。
• RKHS作用素の一貫性がありサンプルに基づく推定器を用いて、経路積分の明示的評価を必要とせずに値関数Ψを近似する。
• 制御問題を不変成分（ダイナミクスとノイズ）とタスク依存成分（コスト関数）に分解し、サンプルの再利用を可能にする。
• 以前のタスクからのスキルポリシーを活用して、低確率領域における探索効率を高める情報的な軌道を生成する。
• 離散的な時刻点上で再帰的定式化を用いてΨを推定し、状態軌道に作用するカーネルベースの作用素を用いる。
• 重要度サンプリングと作用素推定を適用して、各状態のサンプリングを避ける形で最適ポリシーπ*を∇Ψ/Ψにより計算する。

実験結果

リサーチクエスチョン

• RQ1 経路積分のRKHS埋め込みは、確率的最適制御のための一貫性があり非パrametricな推定器をもたらすか？
• RQ2 不変成分とタスク固有成分への分解は、異なる制御タスク間でのサンプル再利用を可能にするか？
• RQ3 標準的なモンテカルロ経路積分推定と比較して、提案手法はサンプルの複雑さを低減するか？
• RQ4 共有されるダイナミクスだが目的やコストが異なる制御タスクにおいて、転移学習を支援できるか？
• RQ5 カーネルの選択とサンプリング戦略の選定が、推定器の収束性と精度に与える影響は何か？

主な発見

• 提案手法はΨ推定の収束が著しく速く、わずか100本の軌道でL1誤差が著しく低下し、5000本の軌道ベースラインに近い性能に達する。
• スキルを補完するポリシーを用いたサンプリングにより、タスク関連の部分空間に焦点を当てることで、サンプルの複雑さが低減され、探索効率が向上する。
• 本手法は効果的な転移学習を可能にする：複数のタスクからのサンプルを再利用して不変ダイナミクス成分を推定でき、各新しいタスクのための再収集を回避できる。
• 推定器は一貫性と収束保証を維持しており、サンプル効率を追求するが一貫性を犠牲にする従来手法とは異なり、優れた性能を発揮する。
• RKHS埋め込みにより、状態次元に依存しない作用素の使用が可能となり、高次元状態へのスケーラビリティが確保される。
• 数値実験の結果、本手法は一般化性能とサンプル効率の両面で、標準的な経路積分制御を上回る性能を示しており、特に低確率軌道の領域で顕著である。