[论文解读] Local Saddle Point Optimization: A Curvature Exploitation Approach

Leonard Adolphs, Hadi Daneshmand+2 more|arXiv (Cornell University)|May 15, 2018

Stochastic Gradient Optimization Techniques参考文献 31被引用 26

一句话总结

本文提出了一种名为曲率利用型鞍点（Cesp）的优化方法，这是一种新颖的方法，通过利用极端曲率信息——具体而言是海森矩阵的最大和最小特征值——来逃离非凸-对偶鞍点问题中的非最优驻点。该方法在基于梯度的优化中可证明地避免收敛到不期望的鞍点，实验结果在生成对抗网络（GANs）和简单问题上显示，其具有更高的稳定性和更快收敛至局部最优的极小-极大解。

ABSTRACT

Gradient-based optimization methods are the most popular choice for finding local optima for classical minimization and saddle point problems. Here, we highlight a systemic issue of gradient dynamics that arise for saddle point problems, namely the presence of undesired stable stationary points that are no local optima. We propose a novel optimization approach that exploits curvature information in order to escape from these undesired stationary points. We prove that different optimization methods, including gradient method and Adagrad, equipped with curvature exploitation can escape non-optimal stationary points. We also provide empirical results on common saddle point problems which confirm the advantage of using curvature exploitation.

研究动机与目标

• 解决基于梯度的鞍点优化中系统性问题，即存在稳定驻点但并非局部最优极小-极大解。
• 识别并逃离在标准梯度动力学下稳定但不满足局部极小-极大结构的非期望驻点。
• 开发一种基于曲率的方法，利用海森矩阵的极端特征值，引导优化过程趋向于局部最优鞍点。
• 证明曲率利用可使梯度下降和Adagrad等方法逃离非最优驻点。
• 通过实证验证曲率利用在常见鞍点问题（包括GANs）中的优势。

提出的方法

• 通过聚焦于x变量海森矩阵的最大特征值和y变量海森矩阵的最小特征值，引入极端曲率利用。
• 通过从海森矩阵极端特征向量导出的变换矩阵，将曲率信息融入标准梯度更新中。
• 更新规则被设计为：在x方向主动利用海森矩阵的负曲率以引导下降，在y方向利用正曲率以引导上升。
• 通过使用基于曲率的缩放方式变换更新矩阵，将该方法应用于标准优化方法（如梯度下降和Adagrad）。
• 理论分析表明，在小步长条件下，局部最优鞍点保持稳定，而非最优驻点则因曲率利用而被破坏稳定性。
• 该方法与双目标GAN训练兼容，通过分别使用曲率信息处理生成器和判别器的参数。

实验结果

研究问题

• RQ1 能否利用曲率信息来区分非凸-对偶鞍点问题中局部最优鞍点与非最优驻点？
• RQ2 标准梯度方法是否会收敛到在标准梯度动力学下稳定但不满足局部极小-极大结构的非最优驻点？
• RQ3 通过海森矩阵极端特征值的曲率利用，能否破坏非最优驻点的稳定性并引导收敛至局部最优解？
• RQ4 所提出的曲率利用方法是否能提升实际应用（如GAN训练）中的收敛性和稳定性？
• RQ5 将基于曲率的更新应用于现有方法（如Adagrad或梯度下降）时是否有效？

主要发现

• 所提出的Cesp方法成功逃离了在标准梯度动力学下稳定的非最优驻点，而标准方法无法保证这一点。
• 理论分析证明，通过极端特征值的曲率利用，在小步长条件下可使局部最优鞍点保持稳定，而非最优驻点则被破坏稳定性。
• 在简单鞍点问题上的实证结果表明，与梯度下降相比，Cesp显著扩大了对期望局部最优鞍点的吸引域。
• 在MNIST数据集上的单层GAN训练中，Cesp减少了生成器海森矩阵最小特征值的振荡，表明其更有效地利用了负曲率。
• 在Cesp下，判别器海森矩阵的最大特征值保持良好控制，表明在上升方向上具有更好的稳定性。
• 即使在标准梯度方法因非最优点处的虚假稳定性而失效时，该方法仍能保持对期望解的收敛。