[論文レビュー] Model-based Adversarial Imitation Learning

Nir Baram, Oron Anschel+1 more|arXiv (Cornell University)|Dec 7, 2016

Generative Adversarial Networks and Image Synthesis参考文献 17被引用数 27

ひとこと要約

本論文では、モデル化された前向きモデルを用いて、識別器からポリシーにまで勾配をエンドツーエンドでバックプロパゲートできる微分可能でモデルベースのアプローチ、Model-based Adversarial Imitation Learning (MAIL) を提案する。この手法は、モデルフリーな GAIL よりも少ない環境インタラクション回数と、少ないハイパーパramータチューニングで MuJoCo の歩行タスクで最先端の性能を達成する。

ABSTRACT

Generative adversarial learning is a popular new approach to training generative models which has been proven successful for other related problems as well. The general idea is to maintain an oracle $D$ that discriminates between the expert's data distribution and that of the generative model $G$. The generative model is trained to capture the expert's distribution by maximizing the probability of $D$ misclassifying the data it generates. Overall, the system is \emph{differentiable} end-to-end and is trained using basic backpropagation. This type of learning was successfully applied to the problem of policy imitation in a model-free setup. However, a model-free approach does not allow the system to be differentiable, which requires the use of high-variance gradient estimations. In this paper we introduce the Model based Adversarial Imitation Learning (MAIL) algorithm. A model-based approach for the problem of adversarial imitation learning. We show how to use a forward model to make the system fully differentiable, which enables us to train policies using the (stochastic) gradient of $D$. Moreover, our approach requires relatively few environment interactions, and fewer hyper-parameters to tune. We test our method on the MuJoCo physics simulator and report initial results that surpass the current state-of-the-art.

研究の動機と目的

• モデルフリーな敵対的模倣学習における高分散勾配推定問題を、微分可能でモデルベースの代替手法を導入することで解決する。
• 学習済みの前向きモデルを活用することで、ポリシー学習に必要な環境インタラクション回数を削減する。
• 微分可能システムを介して勾配伝搬が可能になることで、安定した訓練を実現し、ハイパーパramータへの感受性を低減する。
• 敵対的訓練と前向きモデルの統合により、サンプル効率とロバスト性を向上させ、模倣学習を改善する。
• ポリシー勾配推定器に依存せず、識別器からの勾配を用いてエンドツーエンドのポリシー訓練を可能にする。

提案手法

• 次状態遷移を予測するための前向きモデル $f(s, a)$ を学習し、軌道の微分可能なロールアウトを可能にする。
• 識別器 $D(s, a)$ を用いて、専門家のデモと生成された軌道を区別し、前向きモデルを介して勾配をバックプロパゲートする。
• ポリシーの目的関数を、全軌道にわたる識別器スコアの合計を最小化する形で定式化し、勾配ベースの最適化を可能にする。
• 再現バッファを用いて識別器、前向きモデル、ポリシーを同時に訓練し、学習率を段階的に低下させて訓練を安定化させる。
• 専門家のデータにノイズを付加することで、特にデータが限られた状況でも識別器の一般化性能を向上させる。
• ポリシーの学習速度を識別器の3倍にし、識別器ネットワークをポリシーの約2倍のサイズにすることで、訓練ダイナミクスのバランスを取る。

実験結果

リサーチクエスチョン

• RQ1 敵対的模倣学習におけるモデルベースのアプローチが、標準的なバックプロパゲーションを用いたエンドツーエンドの微分可能な訓練を可能にするか？
• RQ2 学習済みの前向きモデルを統合することで、モデルフリーな GAIL と比較して、サンプル複雑性とハイパーパramータ感受性が低下するか？
• RQ3 前向きモデルの統合が、敵対的模倣学習の安定性と収束性にどのように影響を与えるか？
• RQ4 識別器の出力を模倣の他に、信頼度推定やカリキュラム学習にも活用できるか？
• RQ5 学習率比やネットワークサイズなどの訓練設定（例：学習率比、ネットワークサイズ）が、MAILフレームワークにおける最適なパフォーマンスをもたらすか？

主な発見

• Hopperタスクにおいて、MAILは25回の専門家デモを用いて平均報酬3669.53 ± 6.09を達成し、GAILを上回る最先端の性能を示した。
• Walkerタスクでは、25回の専門家デモを用いて報酬7070.45 ± 30.68を達成し、行動コーディングとGAILを上回った。
• 微分可能な前向きモデルの使用により、モデルフリーなアプローチよりも著しく少ない環境インタラクション回数で訓練が可能になった。
• 専門家のデータにノイズを追加することで、特にデータが少ない状況でも収束が改善され、識別器が専門家の特定パターンに過剰適合するのを防いだ。
• 識別器ネットワークは、訓練例の優先順位付けや推論時におけるポリシーの信頼性評価に利用可能な有用な信頼度信号を提供した。
• 識別器をポリシーの約2倍のサイズにし、ポリシーの学習速度を識別器の3倍にすることで、性能と安定性が向上した。