[論文レビュー] A Divergence Minimization Perspective on Imitation Learning Methods

Seyed Kamyar Seyed Ghasemipour, Richard S. Zemel+1 more|arXiv (Cornell University)|Nov 6, 2019

Reinforcement Learning in Robotics参考文献 32被引用数 24

ひとこと要約

この論文では、f-MAX を導入し、敵対的逆強化学習（AIRL）を一般化する統一された f-発散フレームワークを提示する。このフレームワークにより、状態周辺分布の一致が、低データ環境下での強化学習（IL）手法が行動クラーニング（BC）を上回る主な要因であることが明らかになった。本手法により、エキスパートのデモンストレーションや報酬関数が不要な状態分布を手動で指定するだけで、多様な方策の学習が可能となり、連続的制御環境で検証された。

ABSTRACT

In many settings, it is desirable to learn decision-making and control policies through learning or bootstrapping from expert demonstrations. The most common approaches under this Imitation Learning (IL) framework are Behavioural Cloning (BC), and Inverse Reinforcement Learning (IRL). Recent methods for IRL have demonstrated the capacity to learn effective policies with access to a very limited set of demonstrations, a scenario in which BC methods often fail. Unfortunately, due to multiple factors of variation, directly comparing these methods does not provide adequate intuition for understanding this difference in performance. In this work, we present a unified probabilistic perspective on IL algorithms based on divergence minimization. We present $f$-MAX, an $f$-divergence generalization of AIRL [Fu et al., 2018], a state-of-the-art IRL method. $f$-MAX enables us to relate prior IRL methods such as GAIL [Ho & Ermon, 2016] and AIRL [Fu et al., 2018], and understand their algorithmic properties. Through the lens of divergence minimization we tease apart the differences between BC and successful IRL approaches, and empirically evaluate these nuances on simulated high-dimensional continuous control domains. Our findings conclusively identify that IRL's state-marginal matching objective contributes most to its superior performance. Lastly, we apply our new understanding of IL methods to the problem of state-marginal matching, where we demonstrate that in simulated arm pushing environments we can teach agents a diverse range of behaviours using simply hand-specified state distributions and no reward functions or expert demonstrations. For datasets and reproducing results please refer to https://github.com/KamyarGh/rl_swiss/blob/master/reproducing/fmax_paper.md .

研究の動機と目的

• 両者とも最適にエキスパート方策を回復できるにもかかわらず、低データ環境下で敵対的模倣学習（IL）手法が行動クラーニング（BC）を上回る理由を理解すること。
• 特に GAIL や AIRL のような最大エントロピー IRL 手法を含め、既存の IL 手法を f-発散最小化に基づく統一された確率的枠組みで統合すること。
• 高次元連続的制御タスクにおける IRL が BC を上回る性能向上に寄与する主な要因を特定し、実験的に検証すること。
• 新たな発散最小化の視点を状態周辺分布の一致に応用し、エキスパートのデモンストレーションや報酬関数が不要な状態で多様な行動の学習を可能とすること。

提案手法

• f-MAX を提案し、最大エントロピー IRL をエキスパートと方策の軌道分布間の f-発散最小化として定式化する。
• f-MAX の逆 KL 変種を導出し、AIRL に 1 行の変更を加えることで、前方 KL 発散を最適化する FAIRL を導入する。
• f-発散フレームワークを用いて、BC、GAIL、AIRL、FAIRL をそれぞれ異なる発散最小化目的として解釈・比較する。
• f-MAX の逆 KL 変種を状態周辺分布の一致に応用し、状態サンプルのみを用いて、手動で指定された目的の状態分布に一致する方策を学習する。
• f-発散最小化に基づく微分可能な方策学習目的関数を採用し、報酬関数が不要なエンドツーエンド学習を可能にする。
• Point-Mass、Pusher、Fetch ロボットなどのシミュレーテッド環境で手法を検証し、監視として目的の状態分布のみを用いる。

実験結果

リサーチクエスチョン

• RQ1 両者とも最適にエキスパート方策を回復できるにもかかわらず、GAIL や AIRL のような敵対的 IRL 手法が低データ環境下で BC を上回る理由は何か？
• RQ2 IRL の目的関数における、特徴量期待値の一致か、状態周辺分布の一致のどちらが、BC に対する性能向上の主な要因であるか？
• RQ3 BC や最大エントロピー IRL 手法を含め、既存の模倣学習アルゴリズムを統一された発散最小化フレームワークで説明・一般化できるか？
• RQ4 エキスパートのデモンストレーションや報酬関数が存在しない状況でも、状態周辺分布の一致がどれほど方策学習を導けるか？
• RQ5 f-MAX を用いて、目的の状態分布のみを指定することで、描画や探索などの多様で複雑な行動を学習できるか？

主な発見

• 低データ環境下で IRL が BC を上回る主な要因は、特徴量期待値の一致や報酬設計ではなく、状態周辺分布の一致である。
• f-MAX は AIRL を効果的に一般化し、最大エントロピー IRL を f-発散最小化として統一された確率的解釈を提供する。
• FAIRL（AIRL の前方 KL 変種）は、特定の状況下で逆 KL を最小化するよりも前方 KL を最小化する方が、方策最適化において優れた性能を示すことを示した。
• Pusher 環境では、f-MAX を用いて、エキスパートのデモンストレーションや報酬が存在しない状況でも、3次元空間で正弦波の経路を描く方策を学習した。
• Fetch ロボット環境では、f-MAX を用いて、ブロックを目的領域内に保つ多様な探索方策を学習し、領域全体の均一な状態分布に一致させるように学習した。
• Point-Mass ドメインでは、複数モードを持つ複雑な状態分布に対しても、f-MAX が分布の複雑さに強く対応できることを示した。