[論文レビュー] A Pragmatic Look at Deep Imitation Learning

Kai Arulkumaran, Dan Ogawa Lillrank|arXiv (Cornell University)|Aug 4, 2021

Reinforcement Learning in Robotics参考文献 45被引用数 4

ひとこと要約

この論文は、共通のSACベースのオフポリシー枠組みとD4RL MuJoCoベンチマークを用いて、6つのディープインスティチューションラーニング（IL）アルゴリズム—GAIL、AdRIL、BC、およびGMMIL、DRIL、REDの更新版オフポリシー変種—を公平に実証的に比較している。GAILはトラジェクトリ予算にかかわらず一貫して最高の性能を示し、AdRILはより簡単なチューニングで優れた性能を発揮する。十分なデータがあれば、行動コーディング（BC）も非常に競争力のある性能を示す。

ABSTRACT

The introduction of the generative adversarial imitation learning (GAIL) algorithm has spurred the development of scalable imitation learning approaches using deep neural networks. Many of the algorithms that followed used a similar procedure, combining on-policy actor-critic algorithms with inverse reinforcement learning. More recently there have been an even larger breadth of approaches, most of which use off-policy algorithms. However, with the breadth of algorithms, everything from datasets to base reinforcement learning algorithms to evaluation settings can vary, making it difficult to fairly compare them. In this work we re-implement 6 different IL algorithms, updating 3 of them to be off-policy, base them on a common off-policy algorithm (SAC), and evaluate them on a widely-used expert trajectory dataset (D4RL) for the most common benchmark (MuJoCo). After giving all algorithms the same hyperparameter optimisation budget, we compare their results for a range of expert trajectories. In summary, GAIL, with all of its improvements, consistently performs well across a range of sample sizes, AdRIL is a simple contender that performs well with one important hyperparameter to tune, and behavioural cloning remains a strong baseline when data is more plentiful.

研究の動機と目的

• 評価プロトコル、データセット、アルゴリズム選択の不一致による、ディープインスティチューションラーニング分野における公平で再現可能な比較の不足を解消すること。
• GAIL、AdRIL、その他のアルゴリズムを含む6つのILアルゴリズムを再実装・更新し、一貫したトレーニングと評価を可能にするために、オフポリシー強化学習（SAC）をベースにした手法を採用すること。
• すべての手法を同じハイパーパramータ最適化予算と、同じ専門家軌道データセット（D4RL）を用いて、複数のMuJoCo環境で評価すること。
• 現実的なデータ制約と実装のばらつき下でも、どのIL手法が堅牢で実用的であるかを特定すること。
• 今後の公平なベンチマークと再現可能性を促進するため、統合的でオープンソースのコードベースを公開すること。

提案手法

• ソフトアクタクリティック（SAC）をオフポリシー強化学習のベースアルゴリズムとして用い、GAIL、GMMIL、RED、DRIL、AdRIL、PWILの6つのディープILアルゴリズムを再実装した。
• GMMIL、RED、DRILの3つのオンポリシーIL手法をオフポリシー設定に更新し、SACベースのトレーニングと一貫した比較を可能にした。
• MuJoCo環境からの専門家軌道のD4RLデータセットを、評価の標準ベンチマークとして使用した。
• すべてのアルゴリズムに同じハイパーパramータ最適化予算を適用し、公平な比較を確保した。ベイズ最適化を用い、各手法あたり50試行を実施した。
• 現在のベストプラクティスに従い、複数のランダムシード、平均値と標準偏差、統計的有意性の評価を報告した。
• トレーニングの失敗を診断するため、報酬のトレンドとQ値のモニタリングを行い、オンラインディスクリミネータトレーニングの変種を検討した。

実験結果

リサーチクエスチョン

• RQ1 同じオフポリシーRLバックボーン（SAC）と同じ専門家データセットを用いてトレーニングされた場合、異なるディープインスティチューションラーニングアルゴリズムの性能はどのように異なるか？
• RQ2 オンポリシーIL手法をオフポリシー設定に変換した場合、性能が低下するのか、その理由は何か？
• RQ3 ハイパーパramータの選択（例：バッチサイズ、ディスクリミネータの頻度）は、トラジェクトリ予算の大きさに応じてどのようにスケーリングされるか？
• RQ4 GAILのようなより複雑な手法に比べ、AdRILのような単純なIL手法が、限定的な専門家データのもとで同等またはそれを上回る性能を示せるか？
• RQ5 専門家データが豊富な場合、行動コーディング（BC）はどの程度の基準として機能するか？また、データ量の増加に伴いその性能はどのように変化するか？

主な発見

• GAILは、すべてのトラジェクトリ予算で一貫して最高の性能を示し、25本のトラジェクトリを用いたHalfCheetah環境では平均報酬が11,392.09 ± 377.15を達成した。
• AdRILは高いトラジェクトリ予算（25本）の条件下でGAILと同等の性能を示し、報酬は5,055.76 ± 64.13を記録した。また、ディスクリミネータの更新頻度という唯一の主要ハイパーパramータのチューニングで十分であった。
• 十分なデータがあれば、行動コーディング（BC）は強力なベースラインとなる。25本の専門家トラジェクトリが利用可能な場合、BCはGAILに次ぐ複数の敵対的IL手法を上回った。
• DRIL、GMMIL、REDのオフポリシー版は、広範なハイパーパramータチューニングと正則化を施しても収束しなかった。これは、オンポリシーからオフポリシーへの移行に根本的な不適合性があることを示唆している。
• ハイパーパramータチューニングの結果、バッチサイズやディスクリミネータサイズは一般的にトラジェクトリ予算に応じて増加する傾向を示したが、一貫性はなかった（例：GAILの最適バッチサイズはデータ量の増加に伴い減少した）。
• DRIL、GMMIL、REDの元のオンポリシー版は正常に最適化された。これは、失敗の原因がアルゴリズム自体ではなく、オフポリシーへの適応に起因していることを示している。