[論文レビュー] Clipped Stochastic Methods for Variational Inequalities with Heavy-Tailed Noise

Eduard Gorbunov, Marina Danilova+4 more|arXiv (Cornell University)|Jun 2, 2022

Statistical Methods and Inference被引用数 6

ひとこと要約

本稿は、GAN訓練で一般的な重尾ノイズと有界でない定義域を想定した変分不等式問題（VIP）を解くために、クリッピング付き確率的エクストラ勾配（SEG）および確率的勾配降下上昇（SGDA）手法を導入する。単調かつ構造的非単調VIPに対して、信頼度に対する対数的依存性を持つ最初の高確率収束バウンドを確立し、軽尾ノイズの状況における最先端の結果と同等の性能を達成するとともに、GANにおける重尾勾配ノイズの妥当性を検証し、クリッピングによる性能向上を示している。

ABSTRACT

Stochastic first-order methods such as Stochastic Extragradient (SEG) or Stochastic Gradient Descent-Ascent (SGDA) for solving smooth minimax problems and, more generally, variational inequality problems (VIP) have been gaining a lot of attention in recent years due to the growing popularity of adversarial formulations in machine learning. However, while high-probability convergence bounds are known to reflect the actual behavior of stochastic methods more accurately, most convergence results are provided in expectation. Moreover, the only known high-probability complexity results have been derived under restrictive sub-Gaussian (light-tailed) noise and bounded domain assumption [Juditsky et al., 2011]. In this work, we prove the first high-probability complexity results with logarithmic dependence on the confidence level for stochastic methods for solving monotone and structured non-monotone VIPs with non-sub-Gaussian (heavy-tailed) noise and unbounded domains. In the monotone case, our results match the best-known ones in the light-tails case [Juditsky et al., 2011], and are novel for structured non-monotone problems such as negative comonotone, quasi-strongly monotone, and/or star-cocoercive ones. We achieve these results by studying SEG and SGDA with clipping. In addition, we numerically validate that the gradient noise of many practical GAN formulations is heavy-tailed and show that clipping improves the performance of SEG/SGDA.

研究の動機と目的

• 非サブガウス型（重尾）ノイズおよび有界でない定義域の下で、確率的VIP解法の高確率収束解析における理論的ギャップを埋めること。
• GAN訓練における重尾ノイズ下で、勾配クリッピングが確率的エクストラ勾配およびSGDA法の性能を向上させるかどうかを調査すること。
• 実際のGAN定式化における勾配ノイズが重尾分布を示すことを実証的に検証すること。
• 重尾ノイズを伴う単調および構造的非単調VIPにおいて、クリッピング付きSEGおよびSGDAの収束保証を確立し、軽尾仮定下での最良-knownなバウンドと同等の性能を達成すること。

提案手法

• 変分不等式問題に対する確率的エクストラ勾配（SEG）および確率的勾配降下上昇（SGDA）のクリッピング版を提案する。
• 大偏差を制御するため、重尾確率的勾配において勾配クリッピングを適用し、安定性と収束性を向上させる。
• 単調および構造的非単調VIPに対して、信頼度に対する対数的依存性を持つ高確率収束バウンドを導出する。
• 有界でない定義域下での収束を確立するために、重尾分布に特化した作用素理論的解析と集中不等式を用いる。
• WGAN-GPおよびStyleGAN2における勾配ノイズを実証的に分析し、ヒストグラムの進化と統計的検定により重尾挙動を示す。
• FIDスコアおよび学習安定性指標を用いて、複数のGANアーキテクチャにおいてクリッピングありとなしのSEG/SGDAを比較する。

実験結果

リサーチクエスチョン

• RQ1 サブガウス型（軽尾）ノイズおよび有界定義域の仮定なしに、確率的VIP解法の高確率収束結果を達成できるか？
• RQ2 GAN訓練において勾配ノイズが実証的に重尾的である場合、勾配クリッピングはSEGおよびSGDAの性能を向上させるか？
• RQ3 WGAN-GPおよびStyleGAN2などの現代的GANアーキテクチャにおける勾配ノイズは真に重尾的であるか？
• RQ4 クリッピング付きSEGおよびSGDAは、軽尾仮定下での最良-knownな結果と同等の収束レートを達成するか？

主な発見

• 本稿は、重尾ノイズおよび有界でない定義域を伴う単調および構造的非単調VIPにおいて、クリッピング付きSEGおよびSGDAの最初の高確率収束バウンドを確立した。
• 単調VIPの場合、高確率複雑度バウンドはサブガウス型ノイズ下での最良-knownな結果と一致し、重尾ノイズに対してもロバストであることを確認した。
• WGAN-GP訓練では、12回中8回の非クリッピングSEG実験が発散（NaN損失）したが、クリッピング付きSEGは安定した学習と低いFIDスコアを達成した。
• StyleGAN2訓練では、非クリッピングSGDAは全学習率でFIDスコアの改善が得られなかったが、クリッピング付きSGDAは最良FID104.9を達成し、非クリッピングベースラインを著しく上回った。
• WGAN-GPおよびStyleGAN2における勾配ノイズのヒストограмは、特に後期の訓練段階で明確な重尾挙動を示し、ノイズモデルの実用的妥当性を裏付けた。
• 座標ごとのクリッピングは一部の設定でノルムベースのクリッピングを上回る性能を示し、GANにおけるクリッピング戦略の感受性を示唆した。