[論文レビュー] Generative Adversarial Imitation Learning with Neural Networks: Global Optimality and Convergence Rate

Yufeng Zhang, Qi Cai+2 more|arXiv (Cornell University)|Mar 8, 2020

Adversarial Robustness in Machine Learning参考文献 48被引用数 5

ひとこと要約

本稿は、2層ニューラルネットワークを用いた生成的対抗的模倣学習（GAIL）の最初のグローバル最適性とサブリニア収束レートを確立する。交互に自然方策勾配と勾配上昇更新を用いることで、学習された方策が $\mathcal{R}$-距離において $1/\sqrt{T}$ のレートで専門家方策に収束することを証明し、クラス内のすべての報酬関数においてグローバルに最適な行動を保証する。

ABSTRACT

Generative adversarial imitation learning (GAIL) demonstrates tremendous success in practice, especially when combined with neural networks. Different from reinforcement learning, GAIL learns both policy and reward function from expert (human) demonstration. Despite its empirical success, it remains unclear whether GAIL with neural networks converges to the globally optimal solution. The major difficulty comes from the nonconvex-nonconcave minimax optimization structure. To bridge the gap between practice and theory, we analyze a gradient-based algorithm with alternating updates and establish its sublinear convergence to the globally optimal solution. To the best of our knowledge, our analysis establishes the global optimality and convergence rate of GAIL with neural networks for the first time.

研究の動機と目的

• GAILとニューラルネットワークの間の理論的ギャップを埋めること。
• 非凸・非凹なミニマックス最適化とニューラルネットワーク関数近似の下でのGAILの収束性とグローバル最適性を分析すること。
• 複雑な最適化構造にもかかわらず、グローバルに最適な方策へのサブリニア収束レートを確立すること。
• 有限反復内において、クラス $\mathcal{R}$ 内の任意の報酬関数に対して、学習された方策が専門家方策を上回ることを証明すること。

提案手法

• 方策と報酬関数を2層ニューラルネットワークでパrameter化する。
• 交互更新を用いる：方策最適化には自然方策勾配、報酬関数最適化には勾配上昇を適用する。
• 自然方策勾配における方策評価サブプロブレムを解くために、時系列差分アルゴリズムの変種を適用する。
• 専門家方策と学習された方策間の $\mathcal{R}$-距離を追跡するためのポテンシャル関数を構築する。
• KLダイバージェンスとノルムバウンドを活用して、非凸・非凹なミニマックス構造に対処するための新しい分析フレームワークを採用する。
• 近似誤差を制御し収束を保証するために、ネットワーク重みと特徴マップに関する仮定を用いる。

実験結果

リサーチクエスチョン

• RQ1 ニューラルネットワークを用いたGAILは、グローバルに最適な方策に収束するか？
• RQ2 交互更新下でのニューラルネットワークを用いたGAILの収束レートは何か？
• RQ3 非凸・非凹なミニマックス構造にもかかわらず、グローバル最適性を保証できるか？
• RQ4 トレーニング中に専門家方策と学習された方策間の $\mathcal{R}$-距離はどのように変化するか？
• RQ5 分析を線形およびテーブル設定に拡張できるか、たとえ主な焦点ではないにせよ？

主な発見

• 学習された方策 $\bar{\pi}$ は、$\mathcal{R}$-距離において $1/\sqrt{T}$ のレートで専門家方策 $\pi_{\text{E}}$ に収束する。
• $\mathcal{R}$-距離は $\mathbb{D}_{\mathcal{R}}(\pi_{\text{E}},\bar{\pi}) = \max_{r\in\mathcal{R}} J(\pi_{\text{E}};r) - J(\bar{\pi};r)$ として定義され、その減少がグローバル最適性を保証する。
• 収束レートは、$T$ 回の反復内において、任意の報酬関数 $r \in \mathcal{R}$ に対して、学習された方策が専門家方策をほぼ上回ることを示唆する。
• 本稿は、新しいポテンシャル関数フレームワークを用いて、ニューラルネットワークを用いたGAILのグローバル最適性と収束性を初めて確立した。
• 収束レートはサブリニアであり、ネットワーク重みと特徴マップに関する標準的仮定の下で成立する。
• 本手法は線形およびテーブル設定にも適用可能であるが、主な焦点はニューラルネットワーク関数近似にある。