[論文レビュー] Non-Adversarial Imitation Learning and its Connections to Adversarial Methods

Oleg Arenz, Gerhard Neumann|arXiv (Cornell University)|Aug 8, 2020

Adversarial Robustness in Machine Learning参考文献 48被引用数 6

ひとこと要約

本稿では、GAIL や AIRL などの敵対的アプローチを非敵対的最適化問題に再定式化する非敵対的模倣学習フレームワークを提案する。このフレームワークにより、大規模な方策更新でも安定した学習が可能になる。逆Kullback-Leibler（RKL）ダイバージェンスの上界を導出し、期待値最大化に類似した反復的タイトニングを用いることで、より強い収束保証が得られ、AIRL の理論的正当化が単純化される。AIRL は本提案フレームワークの特殊ケースであることが示されている。

ABSTRACT

Many modern methods for imitation learning and inverse reinforcement learning, such as GAIL or AIRL, are based on an adversarial formulation. These methods apply GANs to match the expert's distribution over states and actions with the implicit state-action distribution induced by the agent's policy. However, by framing imitation learning as a saddle point problem, adversarial methods can suffer from unstable optimization, and convergence can only be shown for small policy updates. We address these problems by proposing a framework for non-adversarial imitation learning. The resulting algorithms are similar to their adversarial counterparts and, thus, provide insights for adversarial imitation learning methods. Most notably, we show that AIRL is an instance of our non-adversarial formulation, which enables us to greatly simplify its derivations and obtain stronger convergence guarantees. We also show that our non-adversarial formulation can be used to derive novel algorithms by presenting a method for offline imitation learning that is inspired by the recent ValueDice algorithm, but does not rely on small policy updates for convergence. In our simulated robot experiments, our offline method for non-adversarial imitation learning seems to perform best when using many updates for policy and discriminator at each iteration and outperforms behavioral cloning and ValueDice.

研究の動機と目的

• GAIL や AIRL などの敵対的模倣学習手法が示す、悪い最適化挙動と小さな方策更新を必要とする収束制限を解消する。
• 敵対的手法が持つ同等の誘導バイアスを維持しつつ、安定した大ステップ方策最適化を可能にする非敵対的再定式化を提供する。
• 本提案フレームワークの特定のインスタンスとしてのAIRLの等価性を示し、AIRLの理論的基盤を明確にすることで、その導出を単純化し、収束保証を強化する。
• 新しいオフライン模倣学習アルゴリズムを考案し、本フレームワークをオフラインデータに適用することで、収束に小さな方策更新を必要としない。
• シミュレーテッドロボット環境において、本手法が行動コーディングやValueDiceを上回ることを示す。特に、1イテレーションあたりの高頻度な方策更新において顕著な性能向上を達成する。

提案手法

• 専門家とエージェントの状態-行動分布間の逆Kullback-Leibler（RKL）ダイバージェンスの上界に基づく非敵対的模倣学習フレームワークを提案する。
• 判別器（密度比推定器）から得られる報酬信号を導入し、これは前回の方策の分布に固定される。これにより、グリーディ更新に伴い劣化する方策依存報酬信号を回避できる。
• 期待値最大化に類似した反復的最適化スキームを用い、各ステップで上界をタイトニングし、単調な改善と収束を保証する。
• 下界報酬関数を用いたソフトQ関数最適化として目的関数を定式化することで、大規模な更新でも方策改善が可能になる。
• 本フレームワークをオフラインデータに適用することで、収束に小さな方策更新を必要としない新しいオフライン模倣学習アルゴリズムを導出する。
• AIRL が本提案フレームワークの特定のインスタンスとして等価であることを示し、AIRL を非敵対的アプローチとしての新たな理論的解釈を提供する。

実験結果

リサーチクエスチョン

• RQ1 敵対的手法（GAIL や AIRL）と同等の性能を維持しつつ、大規模な方策更新でも安定した最適化と収束を保証する非敵対的模倣学習フレームワークを設計可能か？
• RQ2 本提案の非敵対的フレームワークは、AIRL などの既存の敵対的手法とどのように関係しており、それらの理論的基盤を明確にできるか？
• RQ3 本提案フレームワークを用いて、収束に小さな方策更新を必要としない新しいオフライン模倣学習アルゴリズムを導出可能か？
• RQ4 非敵対的定式化により、行動コーディングやValueDiceと比較して、オフライン模倣学習におけるサンプル効率と性能が向上するか？
• RQ5 逆RKLダイバージェンスの上界を反復的にタイトニングすることで、単調な改善と最適方策への収束を保証できるか？

主な発見

• 提案された非敵対的フレームワークは、大規模な方策更新に対しても最適方策への収束を保証するが、敵対的手法は収束のためには小さな更新が必要である。
• AIRL が本提案非敵対的定式化の特殊ケースとして形式的に示され、その理論的正当化が単純化され、より強い収束保証が得られた。
• 非敵対的フレームワークにより、小さな方策更新を必要としない新しいオフライン模倣学習アルゴリズムが導出可能であり、シミュレーションにおいて行動コーディングやValueDiceを上回る性能を示した。
• シミュレーテッドロボット実験では、1イテレーションあたり多くの方策更新とディスカriminator更新を実行した場合、本フレームワークに基づくオフライン手法が最も優れた性能を達成した。
• 報酬信号を現在の方策から分離し、前回の方策の分布からの固定密度比を用いることで、敵対的手法で一般的な報酬信号の劣化を回避し、学習の安定性が向上した。
• 理論的分析により、反復的タイトニング手順において目的関数が単調に改善されることを確認し、専門家の方策分布への収束が保証された。