[論文レビュー] Continuous Inverse Optimal Control with Locally Optimal Examples

Sergey Levine, Vladlen Koltun|arXiv (Cornell University)|Jun 18, 2012

Reinforcement Learning in Robotics参考文献 12被引用数 167

ひとこと要約

本論文は、連続的かつ高次元的なマークフ・意思決定過程における局所最適なデモンストレーションから報酬関数を学習する確率的逆最適制御手法を提案する。局所的報酬近似を活用することで、従来の手法が課していた厳密なグローバル最適性の仮定を緩和し、完全でない専門家データからも頑健に学習可能であり、全ポリシー計算を伴わずに大規模なドメインに効率的にスケーリング可能である。

ABSTRACT

Inverse optimal control, also known as inverse reinforcement learning, is the problem of recovering an unknown reward function in a Markov decision process from expert demonstrations of the optimal policy. We introduce a probabilistic inverse optimal control algorithm that scales gracefully with task dimensionality, and is suitable for large, continuous domains where even computing a full policy is impractical. By using a local approximation of the reward function, our method can also drop the assumption that the demonstrations are globally optimal, requiring only local optimality. This allows it to learn from examples that are unsuitable for prior methods.

研究の動機と目的

• 既存の逆最適制御手法がグローバル最適な専門家デモンストレーションを必要としているという制限を解消すること。
• 全ポリシー計算が非効率な高次元的・連続的状態空間および行動空間における逆強化学習を可能にすること。
• 局所最適な例から報酬関数を学習するスケーラブルで確率的なフレームワークを開発すること。
• 専門家デモンストレーションにおけるグローバル最適性の仮定を緩和し、現実世界の不完全な専門家データに適用可能にする。

提案手法

• 本手法は、状態-行動ペアを入力として報酬関数をモデル化するため、カーネルベースの回帰手法を用いて報酬関数の局所的近似を実施する。
• 報酬関数の事前分布としてガウス過程を用いることで、逆最適制御を報酬関数上の確率的推論問題として定式化する。
• 変分推論アプローチを用いて、局所最適なデモンストレーションから得られる報酬関数の事後分布を近似する。
• 推論された報酬関数から導かれるポリシーの下でのデモンストレーションの尤度を計算する際、不確実性を扱うためにソフトマックスポリシー・モデルを用いる。
• 各デモンストレーションが状態-行動軌道の小さな近傍内で最適であると仮定することで、局所的最適性制約を統合する。
• 全ポリシー列挙を回避し、局所的報酬モデリングに依存することで、高次元ドメインへのスケーリングを滑らかに実現する。

実験結果

リサーチクエスチョン

• RQ1 全ポリシー計算が非効率な連続的・高次元的ドメインにおいて、逆最適制御が効果的に適用可能か。
• RQ2 逆強化学習を、グローバルに劣悪なが局所的に最適な専門家デモンストレーションに対してどのように頑健に可能にするか。
• RQ3 グローバル最適性の仮定を緩和することで、報酬回復の正確性と安定性にどのような影響を与えるか。
• RQ4 局所的報酬近似は、複雑な環境におけるスケーラブルで効率的な逆学習を可能にするか。
• RQ5 サンプル効率およびデモンストレーション品質への耐性という観点から、本手法の確率的フレームワークは既存手法と比べてどのように差をつけるか。

主な発見

• 本手法は、グローバルに劣悪であっても局所最適なデモンストレーションから正確な報酬関数を学習できることを示した。
• 不完全な専門家データを含む環境において、ベースライン手法と比較して顕著な性能向上を達成し、デモンストレーションノイズに対して頑健であることを実証した。
• 全ポリシー列挙の計算的非効率性を回避し、高次元的連続ドメインにおいても効果的にスケーリングできることを示した。
• 局所的報酬近似の使用により、グローバル報酬モデリング手法と比較して、より優れた一般化性能とより安定した学習が達成された。
• 連続制御タスクにおける実験結果から、先行する逆強化学習手法と比較して、収束が速く、より高いサンプル効率を達成した。
• 確率的定式化により、データが少ない状況でも報酬推定の不確実性を定量化でき、信頼性が向上した。