[论文解读] Newton-type Methods for Minimax Optimization

Guojun Zhang, Kaiwen Wu+2 more|arXiv (Cornell University)|Jun 25, 2020

Advanced Bandit Algorithms Research参考文献 50被引用 11

一句话总结

本文提出两种新颖的牛顿型算法——梯度下降牛顿法（GDN）与完整牛顿法（CN），用于非凸-非凹极小化极大优化问题，利用二阶信息实现局部超线性收敛。主要贡献在于：CN 实现了局部二次收敛，有效处理病态条件问题，同时保持与一阶方法相当的计算复杂度。

ABSTRACT

Differential games, in particular two-player sequential zero-sum games (a.k.a. minimax optimization), have been an important modeling tool in applied science and received renewed interest in machine learning due to many recent applications, such as adversarial training, generative models and reinforcement learning. However, existing theory mostly focuses on convex-concave functions with few exceptions. In this work, we propose two novel Newton-type algorithms for nonconvex-nonconcave minimax optimization. We prove their local convergence at strict local minimax points, which are surrogates of global solutions. We argue that our Newton-type algorithms nicely complement existing ones in that (a) they converge faster to strict local minimax points; (b) they are much more effective when the problem is ill-conditioned; (c) their computational complexity remains similar. We verify the effectiveness of our Newton-type algorithms through experiments on training GANs which are intrinsically nonconvex and ill-conditioned. Our code is available at https://github.com/watml/min-max-2nd-order.

研究动机与目标

• 为解决一阶方法在非凸-非凹极小化极大问题中的局限性，特别是病态条件设置下的收敛性能差的问题。
• 开发二阶算法，实现比现有的一阶方法更快的局部收敛速度。
• 正式建立牛顿型方法在极小化极大优化中的局部收敛速率与初始化邻域。
• 在实际深度学习应用（如 GAN 训练）中高效实现二阶方法。

提出的方法

• 提出梯度下降牛顿法（GDN）算法，对跟随者使用牛顿步，对领导者使用梯度下降。
• 引入完整牛顿法（CN）算法，对领导者与跟随者均使用牛顿更新，并利用逆 Hessian 信息。
• 采用牛顿-共轭梯度法（Newton-CG）高效求解高维设置下的 Hessian 逆系统。
• 使用交替更新与精确线搜索，确保稳定性和收敛性。
• 基于变换后的鞍点条件，推导连续动力学与离散更新规则。
• 证明 GDN 与 CN 的局部收敛性，给出明确的非渐近收敛速率与初始化邻域。

实验结果

研究问题

• RQ1 二阶方法是否能在非凸-非凹极小化极大问题中实现比一阶方法更快的局部收敛？
• RQ2 当问题病态（特别是领导者或跟随者的 Hessian 矩阵病态）时，牛顿型方法表现如何？
• RQ3 二阶方法是否能在高维设置下保持与一阶方法相当的计算效率？
• RQ4 牛顿型算法在极小化极大优化中的精确局部收敛速率与初始化邻域是什么？
• RQ5 这些方法能否有效应用于 GAN 训练等实际深度学习问题？

主要发现

• 完整牛顿法（CN）实现了对严格局部极小极大点的局部二次收敛，收敛速度显著优于一阶方法。
• CN 有效缓解了领导者与跟随者问题中的病态条件，无论条件数如何，均能保持快速收敛。
• 所提算法（尤其是 CN）计算效率高，尽管为二阶方法，其复杂度与一阶方法（如 TGDA 和 FR）相当。
• 理论分析提供了精确的非渐近收敛速率与明确的初始化邻域，这是以往类似方法所缺乏的。
• GAN 训练实验表明，CN 比一阶基线收敛更快且更鲁棒，尤其在病态条件下表现优异。