[論文レビュー] f-GAIL: Learning f-Divergence for Generative Adversarial Imitation Learning

Xin Zhang, Yanhua Li+2 more|arXiv (Cornell University)|Jan 1, 2020

Model Reduction and Neural Networks被引用数 2

ひとこと要約

f-GAILは、専門家によるデモから最適なf-発散測度とポリシーを同時に学習する、画期的な生成対抗的模倣学習フレームワークを提案する。6つの物理学ベースの制御タスクにおいて、事前に定義された発散測度を用いたベースラインと比較して、優れたデータ効率性とポリシー性能を達成する。

ABSTRACT

Imitation learning (IL) aims to learn a policy from expert demonstrations that minimizes the discrepancy between the learner and expert behaviors. Various imitation learning algorithms have been proposed with different pre-determined divergences to quantify the discrepancy. This naturally gives rise to the following question: Given a set of expert demonstrations, which divergence can recover the expert policy more accurately with higher data efficiency? In this work, we propose $f$-GAIL, a new generative adversarial imitation learning (GAIL) model, that automatically learns a discrepancy measure from the $f$-divergence family as well as a policy capable of producing expert-like behaviors. Compared with IL baselines with various predefined divergence measures, $f$-GAIL learns better policies with higher data efficiency in six physics-based control tasks.

研究の動機と目的

• 模倣学習における適切な発散測度の選定という課題に取り組み、これがポリシーの品質とデータ効率性に顕著な影響を及えること。
• f-発散族から発散測度そのものを学習することで、固定された事前定義済みの発散測度を使用するのと比較して、より優れた模倣性能が得られるかどうかを調査すること。
• 生成対抗的訓練を用いて、発散測度とポリシーの両方を同時に最適化する統合フレームワークの構築。
• 専門家デモデータに適合するように不一致測度を適応させることで、模倣学習のデータ効率性を向上させること。

提案手法

• f-GAILは、発散関数をニューラルネットワークでパラメータ化する、微分可能であるf-発散族を学習可能なコンponentとして導入する。
• フレームワークは、専門家デモを用いて、ポリシーとf-発散関数を同時に最適化する生成対抗的訓練目的関数を採用する。
• f-発散は、専門家軌道と生成された軌道を区別するディスクライマの出力を用いて、ディスクライマの出力を用いて発散を計算することで、エンドツーエンドに学習される。
• ポリシーは、専門家行動と類似した行動との間の学習済みf-発散を最小化するように訓練され、より良い行動クローンが実現される。
• f-発散の安定した最適化を可能にするために、変分下界を用いてf-発散を近似する。
• フレームワークは敵対的訓練の形で訓練され、ポリシーとf-発散が交互に更新され、差異を最小化するようにされる。

実験結果

リサーチクエスチョン

• RQ1 データからf-発散測度を学習することで、固定された事前定義済みの発散測度を使用するのと比較して、より優れた模倣性能が得られるか？
• RQ2 f-GAILのポリシーと発散の共同最適化は、固定発散測度を用いたベースラインと比較して、データ効率性においてどのように異なるか？
• RQ3 学習されたf-発散は、多様な制御タスクにおける異なる専門家デモ分布に適応的に対応できるか？
• RQ4 f-GAILは複数の物理学ベースの制御環境に一般化可能であり、高いサンプル効率性を維持できるか？

主な発見

• f-GAILは、6つの物理学ベースの制御タスクにおいて、事前に定義された発散測度を用いたすべてのベースライン手法よりも優れたポリシー性能を達成する。
• f-GAILにおける学習済みf-発散は、最適なパフォーマンスに到達するための専門家デモの数を減らすことで、高いデータ効率性を実現する。
• f-GAILは、標準GAIL、BC、および他の発散ベースのIL手法と比較して、最終的なポリシー報酬と学習速度の両面で優れている。
• アブレーションスタディにより、f-発散とポリシーの共同学習が性能向上に不可欠であることが確認され、それらを分離すると性能が低下することが分かった。