[論文レビュー] What Matters for Adversarial Imitation Learning?

Manu Orsini, Anton Raichuk+8 more|arXiv (Cornell University)|Jun 1, 2021

Reinforcement Learning in Robotics参考文献 49被引用数 18

ひとこと要約

本論文は、10の連続的制御タスクにおいて50万を超える敵対的模倣学習（AIL）エージェントを用いた大規模な実験的調査を実施し、アルゴリズム的選択とデモンストレーションの種別が与える影響を評価した。その結果、人間によるデモンストレーションと合成デモンストレーションは根本的に異なることが明らかになり、特定のディスクラミネータ正則化子を用いるといった一般的な実践が一般化しない可能性があることが示され、従来のAIL研究における仮定に疑問を呈した。

ABSTRACT

Adversarial imitation learning has become a popular framework for imitation in continuous control. Over the years, several variations of its components were proposed to enhance the performance of the learned policies as well as the sample complexity of the algorithm. In practice, these choices are rarely tested all together in rigorous empirical studies. It is therefore difficult to discuss and understand what choices, among the high-level algorithmic options as well as low-level implementation details, matter. To tackle this issue, we implement more than 50 of these choices in a generic adversarial imitation learning framework and investigate their impacts in a large-scale study (>500k trained agents) with both synthetic and human-generated demonstrations. While many of our findings confirm common practices, some of them are surprising or even contradict prior work. In particular, our results suggest that artificial demonstrations are not a good proxy for human data and that the very common practice of evaluating imitation algorithms only with synthetic demonstrations may lead to algorithms which perform poorly in the more realistic scenarios with human demonstrations.

研究の動機と目的

• 敵対的模倣学習（AIL）における50以上のハイパーパrameterおよびアーキテクチャ的選択が与える影響を、制御された大規模な設定で体系的に評価すること。
• 合成デモンストレーションがAIL評価における人間デモンストレーションの妥当な代理として有効かどうかを調査すること。
• 強化学習アルゴリズム、ディスクラミネータ正則化子、トレーニング比率などのアルゴリズム的コンポーネントのうち、ポリシー性能およびサンプル効率に最も顕著な影響を与える要因を同定すること。
• 現実的な設定において、新しいAILアルゴリズムの設計および評価に役立つ、実証的でデータ駆動な推奨事項を提供すること。
• 合成デモンストレーションでのみ評価を行う従来の研究の限界を露呈し、これがアルゴリズム設計および性能評価に誤った方向性をもたらす可能性があること。

提案手法

• 4つの強化学習アルゴリズム、7種類のディスクラミネータ正則化子、50以上のハイパーパrameterをサポートする、高度にカスタマイズ可能な汎用AILフレームワークを実装した。
• OpenAI GymおよびAdroitの10の連続的制御環境において、50万体を超えるエージェントをトレーニングした大規模な実験的調査を実施した。
• 一般化の検証のために、訓練済みの強化学習エージェントから得た合成デモンストレーションと、人間が生成したデモンストレーションの両方を用いた。
• 標準化された性能指標（最終エピソードリターン、トレーニング中の平均リターン）を用い、設定ごとの分位数分析を実施した。
• バッチサイズ、リプレイ比、ディスクラミネータ対強化学習の更新比、結合バッチ数といった主要なハイパーパrameterについてのアブレーションスタディを実施した。
• 条件付き性能分位数および最良パフォーマンスを示した設定の分布的分析を用いて、影響を及ぼす要因を特定した。

実験結果

リサーチクエスチョン

• RQ1 AILにおけるどのハイパーパrameter選択が、最終的なポリシー性能およびサンプル効率に最も顕著な影響を与えるか？
• RQ2 勾配ペナルティ、重み減衰、ドロップアウトなどの異なるディスクラミネータ正則化子の性能は、環境およびデモンストレーションタイプに応じてどのように比較されるか？
• RQ3 合成デモンストレーションは、AILにおける人間が生成したデモンストレーションの行動および課題をどれくらい正確に反映しているか？
• RQ4 オンポリシー対オフポリシー、報酬形状付けなどのアルゴリズム的選択の相対的パフォーマンスは、合成デモンストレーションと人間デモンストレーションの間でどのように変化するか？
• RQ5 バッチサイズ、リプレイ比、更新比などのトレーニングハイパーパrameterの最適な設定は、多様なタスクにおいて模倣性能を最大化するためにどのようになるか？

主な発見

• 勾配ペナルティのような標準的なディスクラミネータ正則化子は、重み減衰やドロップアウトといった単純な教師あり学習手法に比べ、一貫して優れているわけではない。特に簡単な環境では顕著である。
• 簡単な環境では、明示的なディスクラミネータ正則化はしばしば不要である。正則化子を一切使用しないポリシーでも、良好なパフォーマンスを達成できる。
• 人間デモンストレーションでは、すべてのAIL設定において合成デモンストレーションよりも顕著に低いパフォーマンスが得られる。これは根本的な分布シフトを示している。
• アルゴリズム的選択（例：強化学習アルゴリズム、正則化子の選択）の相対的パフォーマンスは、デモンストレーションの出所に強く依存する。合成データでの結果は人間データに一般化されない。
• 合成デモンストレーションで最良のパフォーマンスを示した設定は、人間デモンストレーションではしばしば失敗する。これは、合成データでのみ評価を行うと、アルゴリズムのロバストネスに関する誤った結論に至る可能性があることを示している。
• バッチサイズ、リプレイ比、ディスクラミネータ対強化学習の更新比といったハイパーパラメータは、パフォーマンスに強く非単調な影響を与える。最適な値は環境やデモンストレーションタイプによって変動する。