[论文解读] Generative Adversarial Imitation Learning with Neural Networks: Global Optimality and Convergence Rate

Yufeng Zhang, Qi Cai+2 more|arXiv (Cornell University)|Mar 8, 2020

Adversarial Robustness in Machine Learning参考文献 48被引用 5

一句话总结

该论文首次建立了两层神经网络下生成对抗模仿学习（GAIL）的全局最优性与次线性收敛速率。通过交替使用自然策略梯度与梯度上升更新，证明了所学习的策略在 $\mathcal{R}$-距离下以 $1/\sqrt{T}$ 的速率收敛至专家策略，从而确保了在该类所有奖励函数下的全局最优行为。

ABSTRACT

Generative adversarial imitation learning (GAIL) demonstrates tremendous success in practice, especially when combined with neural networks. Different from reinforcement learning, GAIL learns both policy and reward function from expert (human) demonstration. Despite its empirical success, it remains unclear whether GAIL with neural networks converges to the globally optimal solution. The major difficulty comes from the nonconvex-nonconcave minimax optimization structure. To bridge the gap between practice and theory, we analyze a gradient-based algorithm with alternating updates and establish its sublinear convergence to the globally optimal solution. To the best of our knowledge, our analysis establishes the global optimality and convergence rate of GAIL with neural networks for the first time.

研究动机与目标

• 弥合GAIL在神经网络设置下经验成功与理论理解之间的理论鸿沟。
• 分析在非凸-非凹极小化极大优化结构下，使用神经网络函数逼近时GAIL的收敛性与全局最优性。
• 尽管优化结构复杂，仍建立向全局最优策略的次线性收敛速率。
• 证明在有限次迭代内，所学习的策略在类 $\mathcal{R}$ 中任意奖励函数下均优于专家策略。

提出的方法

• 使用两层神经网络参数化策略与奖励函数。
• 采用交替更新：对策略优化使用自然策略梯度，对奖励函数优化使用梯度上升。
• 应用时序差分算法的一种变体，求解自然策略梯度中的策略评估子问题。
• 构建一个势函数，用于追踪专家策略与所学策略之间的 $\mathcal{R}$-距离。
• 提出一种新颖的分析框架，以处理非凸-非凹极小化极大结构，利用KL散度与范数有界性。
• 基于网络权重与特征映射的假设，控制近似误差并确保收敛性。

实验结果

研究问题

• RQ1 使用神经网络的GAIL是否收敛至全局最优策略？
• RQ2 在交替更新下，使用神经网络的GAIL的收敛速率是多少？
• RQ3 尽管存在非凸-非凹极小化极大结构，是否仍能保证全局最优性？
• RQ4 在训练过程中，专家策略与所学策略之间的 $\mathcal{R}$-距离如何演化？
• RQ5 该分析能否扩展至线性与表格型设置，即使并非主要关注点？

主要发现

• 所学习的策略 $\bar{\pi}$ 以 $1/\sqrt{T}$ 的速率在 $\mathcal{R}$-距离下收敛至专家策略 $\pi_{\text{E}}$。
• $\mathcal{R}$-距离定义为 $\mathbb{D}_{\mathcal{R}}(\pi_{\text{E}},\bar{\pi}) = \max_{r\in\mathcal{R}} J(\pi_{\text{E}};r) - J(\bar{\pi};r)$，其衰减确保了全局最优性。
• 该收敛速率表明，所学习的策略在 $T$ 次迭代内，对任意奖励函数 $r \in \mathcal{R}$ 均近似优于专家策略。
• 该分析首次在新颖的势函数框架下，为使用神经网络的GAIL建立了全局最优性与收敛性。
• 收敛速率是次线性的，且在标准的网络权重与特征映射假设下成立。
• 该方法适用于线性与表格型设置，尽管重点在于神经网络函数逼近。