[論文レビュー] Adversarial Soft Advantage Fitting: Imitation Learning without Policy Optimization

Paul Barde, Julien Le Roy+4 more|arXiv (Cornell University)|Jun 23, 2020

Adversarial Robustness in Machine Learning参考文献 32被引用数 4

ひとこと要約

本稿では、生成方策の最適化を不要とする、構造的ディスクリミネータを用いた新たな強化学習代替学習フレームワークであるAdversarial Soft Advantage Fitting (ASAF)を提案する。このディスクリミネータは、過去の方策と学習可能な方策の両方に条件付けられており、ディスクリミネータの最適化が直接最適な生成方策を導く。これにより、訓練の複雑さが半減し、離散的および連続的制御タスクにおいて最先端の手法と同等またはそれ以上の性能を達成する。

ABSTRACT

Adversarial Imitation Learning alternates between learning a discriminator -- which tells apart expert's demonstrations from generated ones -- and a generator's policy to produce trajectories that can fool this discriminator. This alternated optimization is known to be delicate in practice since it compounds unstable adversarial training with brittle and sample-inefficient reinforcement learning. We propose to remove the burden of the policy optimization steps by leveraging a novel discriminator formulation. Specifically, our discriminator is explicitly conditioned on two policies: the one from the previous generator's iteration and a learnable policy. When optimized, this discriminator directly learns the optimal generator's policy. Consequently, our discriminator's update solves the generator's optimization problem for free: learning a policy that imitates the expert does not require an additional optimization loop. This formulation effectively cuts by half the implementation and computational burden of Adversarial Imitation Learning algorithms by removing the Reinforcement Learning phase altogether. We show on a variety of tasks that our simpler approach is competitive to prevalent Imitation Learning methods.

研究の動機と目的

• 計算コストが高く不安定な方策最適化ループを排除することで、敵対的代替学習を簡素化すること。
• 従来のAIL手法における交互に実行される敵対的訓練と強化学習による不安定性およびサンプル非効率性を解消すること。
• ディスクリミネータと生成方策を同時に学習する手法を開発し、別個の強化学習更新の必要性を排除すること。
• 提案手法が、大幅に削減された実装および計算オーバーヘッドで競争力のある性能を達成できることを示すこと。
• 本手法が、軌道長が異なるタスク、すなわち遷移単位および全軌道設定を含め、一般化できることを示すこと。

提案手法

• 過去の生成方策と学習可能な方策の両方に明示的に条件付けられた構造的ディスクリミネータを提案する。
• ディスクリミネータが、単一のパrameterized方策を用いて、専門家軌道と生成軌道の確率を推定する最大エントロピー定式化を採用する。
• Finnらの研究から得られる最適ディスクリミネータの形を活用し、ディスクリミネータの学習中に生成方策の最適化問題を暗黙的に解く。
• ディスクリミネータを数エポック程度学習した後、内部の方策モデルを直接生成方策として使用し、強化学習を完全に回避する。
• 軌道をサイズwのスライディングウィンドウで処理するASAF-wという変種を導入し、遷移単位の代替学習を可能にする。
• 方策とディスクリミネータの両方のための共有ニューラルネットワークアーキテクチャを採用し、畳み込み層および全結合層の後に、最終予測のためのMLPを配置する。

実験結果

リサーチクエスチョン

• RQ1 方策最適化ループを排除することで、性能を損なわず敵対的代替学習を簡素化できるか？
• RQ2 過去の方策と学習可能な方策の両方に条件付けられたディスクリミネータが、自然に最適な生成方策を回復できるか？
• RQ3 提案手法が、別個の強化学習更新なしに、離散的および連続的タスクの両方で競争力のある性能を達成できるか？
• RQ4 全軌道および遷移単位の学習を含め、異なる軌道長さに応じて本手法はスケーリング可能か？
• RQ5 従来のAILアプローチとは異なり、交互に強化学習とディスクリミネータの更新を行うものと比較して、本手法はよりサンプル効率が良く、安定性に優れているか？

主な発見

• ASAFは、Hopper、Walker2D、HalfCheetah、Antなどの連続的制御タスクにおいて、GAIL + PPO、AIRL + PPO、SQILと同等またはそれ以上の性能を達成する。
• MuJoCo環境では、BCおよびSQILを上回り、AIRL + PPOおよびGAIL + PPOと同等またはそれ以上の平均報酬性能を示す。
• Pommermanランダムタグ環境では、ASAF-32は150本の専門家軌道を用いて平均報酬1.0を達成し、複雑で部分観測可能な環境においても優れた一般化性能を示す。
• アブレーションスタディの結果、ウィンドウサイズw=32のASAF-wは一部のタスクで全軌道ASAFを上回る性能を示しており、遷移単位学習の利点を裏付けている。
• ハイパーパramータサーチの結果、ASAFは学習率およびウィンドウサイズの変動に対して頑健であり、25の設定をランダムサーチで探索することで最良の設定が得られた。
• 本手法は強化学習ループを排除することで、実装および計算のオーバーヘッドを標準AILフレームワークと比較して約半分に削減する。