[論文レビュー] Model-Free Imitation Learning with Policy Optimization

Jonathan Ho, Jayesh K. Gupta+1 more|arXiv (Cornell University)|May 26, 2016

Reinforcement Learning in Robotics参考文献 19被引用数 41

ひとこと要約

本論文は、繰り返し計画問題を解く必要を回避するため、ポリシー勾配を用いて確率的方策を直接最適化するモデルフリーな模倣学習手法を提案する。パラメータ化された方策における勾配ベース最適化としての熟練学習を定式化することにより、局所的収束を達成し、最適な計画を必要とせず、高次元連続制御タスクにおいてのみ専門家のデモ軌道から深層ニューラルネットワーク方策を有効に訓練可能となり、スケーラビリティおよびロバスト性において先行手法を上回る。

ABSTRACT

In imitation learning, an agent learns how to behave in an environment with an unknown cost function by mimicking expert demonstrations. Existing imitation learning algorithms typically involve solving a sequence of planning or reinforcement learning problems. Such algorithms are therefore not directly applicable to large, high-dimensional environments, and their performance can significantly degrade if the planning problems are not solved to optimality. Under the apprenticeship learning formalism, we develop alternative model-free algorithms for finding a parameterized stochastic policy that performs at least as well as an expert policy on an unknown cost function, based on sample trajectories from the expert. Our approach, based on policy gradients, scales to large continuous environments with guaranteed convergence to local minima.

研究の動機と目的

• 反復的計画または内側ループにおける強化学習に依存する既存の模倣学習手法のスケーラビリティの制限を解消すること。
• 明示的なコスト関数学習や計画を回避するモデルフリーな熟練学習アプローチを開発することにより、計算オーバーヘッドを低減すること。
• 従来の手法が計算的に非現実的であるため失敗する高次元連続制御環境でも、有効な模倣を可能にすること。
• ポリシー勾配最適化における局所的最適解への理論的収束保証を提供し、最適な計画を必要としない安定な学習を確保すること。
• 高次元観測を持つ複雑なタスク、例えばロボット制御やハイウェイドライブシミュレーションにおいて、本手法の有効性を実証すること。

提案手法

• 熟練学習を、コスト関数のクラス上で専門家方策と学習済み方策のパフォーマンス差を直接最小化するポリシー勾配最適化問題として定式化する。
• 微分可能アーキテクチャ（例：ニューラルネットワーク）を有するパラメータ化されたポリシーを用いてエージェントの行動を表現し、勾配上昇によるエンドツーエンド学習を可能にする。
• 信頼領域ポリシー最適化（TRPO）を適用して学習を安定化させ、ポリシー更新における制約を活用して単調な改善を保証する。
• 専門家行動と劣悪なポリシーを区別するコスト関数のクラス（例：線形または二次特徴）を定義し、ポリシー最適化の代替信号として使用する。
• 訓練中に報酬信号や専門家の相互作用を必要とせず、専門家のデモ軌道のみを用いてポリシーを訓練する。
• 状態-行動訪問分布とアドバンテージ関数を用いてポリシー勾配を計算し、連続空間におけるサンプル効率の良い最適化を実現する。

実験結果

リサーチクエスチョン

• RQ1 反復的計画問題を各イテレーションで解かずに、モデルフリーなポリシー最適化アプローチが有効な模倣学習を達成できるか？
• RQ2 反復的強化学習やコスト関数フィッティングを必要とする手法と比較して、直接勾配最適化で訓練されたポリシーの性能はどの程度か？
• RQ3 本手法は、複雑な観測を持つ高次元連続制御タスクにどの程度スケーリング可能か？
• RQ4 ポリシー最適化における信頼領域制約の使用が、模倣学習における収束性と安定性を向上させるか？
• RQ5 本手法は、ハイウェイドライブシミュレーションのような複雑な環境で、未観測状態に一般化し、人間のような行動を生成できるか？

主な発見

• 提案手法であるIM-TRPOは、600以上の連続特徴を持つ環境でも、完全な環境モデルを用いる最先端手法と同等のパフォーマンスを達成する深層ニューラルネットワーク方策を有効に訓練できた。
• 部分観測（610次元のセンサ入力）を伴うハイウェイドライブタスクにおいて、IM-TRPOは、人間のデモと、全状態情報にアクセス可能なCIOCという手法と類似した質的・定量的行動を生成した。
• 20センサ設定では、1000イテレーション以内に約1.5の超過コストを達成し、最適な計画を必要とせず安定した収束を示した。
• 専門家方策が完全に最適でない場合でも、性能に顕著な低下が見られず、不完全なデモに対してもロバストであることが示された。
• 内側ループの計画問題が最適に解かれていなくても、局所的最適方策が保証され、収束が保証される。これは、類似手法がこのような保証を持たないのとは対照的である。
• 評価されたすべてのタスクにおいて、学習済み方策は未観測状態に効果的に一般化し、行動クラッシングや軌道レベル学習に起因する累積誤差の問題を回避しながら、行動クラッシングを上回る性能を示した。