[論文レビュー] On Computation and Generalization of Generative Adversarial Imitation Learning

Minshuo Chen, Yizhou Wang+5 more|arXiv (Cornell University)|Jan 9, 2020

Reinforcement Learning in Robotics参考文献 56被引用数 9

ひとこと要約

本稿は、生成的対抗的模倣学習（GAIL）の最初の理論的分析を提供し、制御された報酬関数クラスの下で統計的一般化保証を確立するとともに、再生核に基づく報酬パラメータ化を用いる場合の確率的1次最適化における非線形収束を証明している。GAILの経験的成功と理論的理解の間のギャップを、一般化と計算効率の両面から埋めることを目的としている。

ABSTRACT

Generative Adversarial Imitation Learning (GAIL) is a powerful and practical approach for learning sequential decision-making policies. Different from Reinforcement Learning (RL), GAIL takes advantage of demonstration data by experts (e.g., human), and learns both the policy and reward function of the unknown environment. Despite the significant empirical progresses, the theory behind GAIL is still largely unknown. The major difficulty comes from the underlying temporal dependency of the demonstration data and the minimax computational formulation of GAIL without convex-concave structure. To bridge such a gap between theory and practice, this paper investigates the theoretical properties of GAIL. Specifically, we show: (1) For GAIL with general reward parameterization, the generalization can be guaranteed as long as the class of the reward functions is properly controlled; (2) For GAIL, where the reward is parameterized as a reproducing kernel function, GAIL can be efficiently solved by stochastic first order optimization algorithms, which attain sublinear convergence to a stationary solution. To the best of our knowledge, these are the first results on statistical and computational guarantees of imitation learning with reward/policy function approximation. Numerical experiments are provided to support our analysis.

研究の動機と目的

• GAILの経験的成功と、統計的および計算的保証の欠如との間の理論的ギャップを埋めること。
• 一般報酬関数パラメータ化の下でのGAILの一般化特性を分析すること。
• 再生核ヒルバート空間（RKHS）でパラメータ化された報酬を用いる場合のGAILの計算収束レートを確立すること。
• 方策および報酬空間における関数近似を用いた模倣学習に対して、初めての統計的および計算的保証を提供すること。
• 理論的発見を数値実験で裏付けること。

提案手法

• GAILを、方策および報酬関数の上でのミニマックス最適化問題として定式化し、熟練者のデモにおける報酬の経験的平均を負の目的関数として用いる。
• 報酬関数クラスの複雑さを制御することで一般化分析を導入し、適切なメトリックエントロピー条件の下で一般化を保証する。
• RKHSに基づく報酬パラメータ化を用いたGAILを分析し、確率的1次最適化法による効率的解法が可能であることを示す。
• 目的関数の滑らかさおよび強い凸性の性質を活用して、勾配ベース最適化を用いて非線形収束レートを導出する。
• 生成器の勾配とディスクラミネーターの最適応答を含む双対定式化を用いて収束ダイナミクスを分析する。
• 期待勾配、強い凸性、リプシッツ連続性を含む不等式の系列を用いて、目的関数の勾配ノルムをバインドする。

実験結果

リサーチクエスチョン

• RQ1 熟練者のデモにおける時間的依存性が存在する中で、GAILはどのような条件下で良好に一般化するのか？
• RQ2 任意の報酬関数パラメータ化を用いるGAILについて、統計的一般化を保証できるか？
• RQ3 核ベース報酬関数を用いる場合のGAILで達成可能な計算収束レートは何か？
• RQ4 方策と報酬関数の近似の相互作用は、GAILの収束にどのように影響するか？
• RQ5 GAILフレームワークにおいて、確率的1次アルゴリズムの非線形収束を確立できるか？

主な発見

• 報酬関数クラスのメトリックエントロピーが制御されている場合、GAILにおける一般化が保証され、学習済方策が未観測の軌道に対しても一般化されることを示す。
• RKHSに基づく報酬パラメータ化を用いたGAILでは、確率的1次最適化が、$ O(1/\text{sqrt}(N)) $ のレートで定常解に非線形収束を達成する。ここで $ N $ は反復回数を表す。
• 収束レートは問題固有の定数に依存する：$ B_F = \frac{12\rho_g^2}{\nu} + \nu M_H $、$ L_\nu $、$ S_\nu $、および $ M_G $ であり、これらは勾配ノルムと滑らかさを制御する。
• 勾配ノルムの $ \nu $-精度に到達するまでに、$ \tilde{O}\big( \frac{(\rho_g^2/\nu + \nu M_H)(L_\nu + S_\nu^2/\nu)M_G}{\nu^2} \big) $ 回の反復が必要となる。
• 数値実験により理論的分析が妥当であることが検証され、予測された収束行動と実効性能が一致している。
• 本分析により、関数近似を用いた模倣学習に対して、初めての統計的および計算的保証が確立され、理論的理解における重要なギャップが埋められた。