[论文解读] Gradient Descent Ascent for Min-Max Problems on Riemannian Manifolds

Feihu Huang, Shangqian Gao+1 more|arXiv (Cornell University)|May 4, 2021

Stochastic Gradient Optimization Techniques参考文献 51被引用 4

一句话总结

本论文提出黎曼梯度下降-上升（RGDA）及其随机变体，用于求解黎曼流形上的非凸极小极大问题，实现了改进的样本复杂度：确定性情形为 O(κ²ϵ⁻²)，随机情形为 O(κ⁴ϵ⁻⁴)，动量方差减少变体为 O~(κ⁴ϵ⁻³)，在无需大批次的情况下，达到与欧几里得对应方法相近的近最优性能。

ABSTRACT

In the paper, we study a class of useful non-convex minimax optimization problems on Riemanian manifolds and propose a class of Riemanian gradient descent ascent algorithms to solve these minimax problems. Specifically, we propose a new Riemannian gradient descent ascent (RGDA) algorithm for the deterministic minimax optimization. Moreover, we prove that the RGDA has a sample complexity of O(κ2ϵ−2) for finding an ϵ-stationary point of the nonconvex strongly-concave minimax problems, where κ denotes the condition number. At the same time, we introduce a Riemannian stochastic gradient descent ascent (RSGDA) algorithm for the stochastic minimax optimization. In the theoretical analysis, we prove that the RSGDA can achieve a sample complexity of O(κ4ϵ−4). To further reduce the sample complexity, we propose a novel momentum variance-reduced Riemannian stochastic gradient descent ascent (MVR-RSGDA) algorithm based on a new momentum variance-reduced technique of STORM. We prove that the MVR-RSGDA algorithm achieves a lower sample complexity of O~(κ4ϵ−3) without large batches, which reaches near the best known sample complexity for its Euclidean counterparts. Extensive experimental results on the robust deep neural networks training over Stiefel manifold demonstrate the efficiency of our proposed algorithms.

研究动机与目标

• 解决在鲁棒机器学习中常见但黎曼设置下研究不足的黎曼流形上的非凸极小极大优化问题。
• 开发高效的黎曼算法，在保持收敛性保证的同时，能够在弯曲的非欧几里得空间中运行。
• 实现流形上随机极小极大问题的近最优样本复杂度，与欧几里得空间中的最佳已知性能相匹配。
• 通过一种新颖的基于动量的方差减少技术（STORM）适应黎曼几何，降低随机更新的方差。
• 在 Stiefel 流形上的鲁棒深度神经网络训练中，对所提算法进行实证验证。

提出的方法

• 为黎曼流形上的确定性极小极大问题提出黎曼梯度下降-上升（RGDA）算法，双方玩家均使用黎曼梯度。
• 引入黎曼随机梯度下降-上升（RSGDA）算法以处理随机目标，将随机梯度投影到切空间。
• 设计一种基于动量的方差减少黎曼随机梯度下降-上升（MVR-RSGDA）算法，采用新颖的 STORM 基础动量技术以降低梯度方差。
• 利用黎曼重投影和向量传输在优化过程中保持迭代点位于流形上，确保几何一致性。
• 通过黎曼曲率和条件数 κ 分析收敛性，将样本复杂度与流形结构联系起来。
• 在非凸强凹假设下，利用黎曼优化工具推导理论样本复杂度边界。

实验结果

研究问题

• RQ1 黎曼梯度下降-上升能否在弯曲流形上的非凸极小极大问题中实现收敛性保证？
• RQ2 黎曼随机极小极大优化的理论样本复杂度是多少？与欧几里得对应方法相比如何？
• RQ3 基于动量的方差减少技术（如 STORM）能否有效适配黎曼优化，以提升样本效率？
• RQ4 所提出的 MVR-RSGDA 算法是否能在不依赖大批次的情况下实现近最优样本复杂度？
• RQ5 所提算法在黎曼流形上的鲁棒深度学习任务中实际表现如何？

主要发现

• 确定性 RGDA 算法在非凸强凹极小极大问题中，找到 ϵ-驻点的样本复杂度为 O(κ²ϵ⁻²)。
• 随机 RSGDA 算法的样本复杂度为 O(κ⁴ϵ⁻⁴)，由于随机噪声，高于确定性情形。
• 所提出的 MVR-RSGDA 算法通过利用一种新颖的动量方差减少技术，将样本复杂度降低至 O~(κ⁴ϵ⁻³)，接近欧几里得极小极大问题的最佳已知复杂度。
• MVR-RSGDA 算法在无需大批次的情况下实现此改进的复杂度，提升了实际效率。
• 在 Stiefel 流形上的鲁棒深度神经网络训练中，大量实验验证了所提算法的高效性与可扩展性。
• 理论边界与实证结果表明，黎曼极小极大优化即使在非凸设置下，也能实现与欧几里得方法相媲美甚至更优的性能。