[论文解读] Clipped Stochastic Methods for Variational Inequalities with Heavy-Tailed Noise

Eduard Gorbunov, Marina Danilova+4 more|arXiv (Cornell University)|Jun 2, 2022

Statistical Methods and Inference被引用 6

一句话总结

本文针对在重尾噪声和无界域条件下常见的生成对抗网络（GAN）训练问题，提出了截断随机外梯度（SEG）和随机梯度下降-上升（SGDA）方法。该工作首次建立了单调和结构化非单调VIP在高概率下的收敛边界，其置信度依赖关系为对数形式，结果与现有轻尾噪声条件下的最先进水平相当，同时在GAN中验证了重尾梯度噪声的存在，并展示了截断带来的性能提升。

ABSTRACT

Stochastic first-order methods such as Stochastic Extragradient (SEG) or Stochastic Gradient Descent-Ascent (SGDA) for solving smooth minimax problems and, more generally, variational inequality problems (VIP) have been gaining a lot of attention in recent years due to the growing popularity of adversarial formulations in machine learning. However, while high-probability convergence bounds are known to reflect the actual behavior of stochastic methods more accurately, most convergence results are provided in expectation. Moreover, the only known high-probability complexity results have been derived under restrictive sub-Gaussian (light-tailed) noise and bounded domain assumption [Juditsky et al., 2011]. In this work, we prove the first high-probability complexity results with logarithmic dependence on the confidence level for stochastic methods for solving monotone and structured non-monotone VIPs with non-sub-Gaussian (heavy-tailed) noise and unbounded domains. In the monotone case, our results match the best-known ones in the light-tails case [Juditsky et al., 2011], and are novel for structured non-monotone problems such as negative comonotone, quasi-strongly monotone, and/or star-cocoercive ones. We achieve these results by studying SEG and SGDA with clipping. In addition, we numerically validate that the gradient noise of many practical GAN formulations is heavy-tailed and show that clipping improves the performance of SEG/SGDA.

研究动机与目标

• 填补在非次高斯（重尾）噪声和无界域条件下，随机VIP求解器高概率收敛分析的理论空白。
• 探究在重尾噪声下，梯度截断是否能提升SGDA与外梯度方法在GAN训练中的性能。
• 通过实证方法验证，实际GAN模型中的梯度噪声确实呈现重尾分布。
• 为具有重尾噪声的单调与结构化非单调VIP建立截断SEG与SGDA的收敛保证，其性能与最优轻尾假设下的已知边界相当。

提出的方法

• 为变分不等式问题（VIP）提出随机外梯度（SEG）和随机梯度下降-上升（SGDA）的截断变体。
• 通过梯度截断控制重尾随机梯度中的极端偏差，提升算法稳定性和收敛性。
• 为单调和结构化非单调VIP推导出具有对数置信度依赖关系的高概率收敛边界。
• 采用算子理论分析方法，并结合专为重尾分布设计的集中不等式，实现无界域下的收敛性证明。
• 通过直方图演化与统计检验，实证分析WGAN-GP与StyleGAN2中的梯度噪声，揭示其重尾特性。
• 在多种GAN架构上，通过FID得分与训练稳定性指标，对比截断与非截断SEG/SGDA的性能表现。

实验结果

研究问题

• RQ1 能否在不假设次高斯（轻尾）噪声和有界域的前提下，实现随机VIP求解器的高概率收敛结果？
• RQ2 在梯度噪声实际呈现重尾特性的GAN训练中，梯度截断是否能提升SEG与SGDA的性能？
• RQ3 现代GAN架构（如WGAN-GP与StyleGAN2）中的梯度噪声是否真正呈现重尾分布？
• RQ4 截断SEG与SGDA是否能达到与最优轻尾假设下已知结果相当的收敛速率？

主要发现

• 本文首次建立了在重尾噪声与无界域条件下，截断SEG与SGDA在单调与结构化非单调VIP中的高概率收敛边界。
• 对于单调VIP，高概率复杂度边界与次高斯噪声下最优已知结果一致，验证了对重尾噪声的鲁棒性。
• 在WGAN-GP训练中，12次非截断SEG实验中有8次出现发散（NaN损失），而截断SEG实现了稳定训练并获得更低的FID得分。
• 在StyleGAN2训练中，所有学习率下非截断SGDA均未能改善FID，而截断SGDA实现了最佳FID 104.9，显著优于非截断基线。
• WGAN-GP与StyleGAN2中的梯度噪声直方图显示明显的重尾行为，尤其在训练后期更为显著，验证了噪声模型的实际相关性。
• 在SGDA与SEG中，逐坐标截断优于基于范数的截断，在某些设置下表现更优，提示GAN训练中截断策略具有敏感性。