[논문 리뷰] Clipped Stochastic Methods for Variational Inequalities with Heavy-Tailed Noise

Eduard Gorbunov, Marina Danilova외 4명|arXiv (Cornell University)|2022. 06. 02.

Statistical Methods and Inference인용 수 6

한 줄 요약

이 논문은 GAN 훈련에서 흔히 발생하는 두꺼운 尾(heavy-tailed) 노이즈와 유계가 아닌 도메인 조건 하에서 변분부등식 문제(VIPs)를 해결하기 위해 클리핑된 스토하스틱 외거진법(SEG) 및 스토하스틱 경사하강법-상승법(SGDA) 방법을 제안한다. 단조성 및 구조적 비단조성 VIPs에 대해 확률적 수렴 한계를 처음으로 도출하였으며, 신뢰도에 대해 로그적 의존성을 가지며, 경량 노이즈 조건에서의 최신 기준 결과와 동일한 성능을 달성한다. 또한 GAN 내에서 두꺼운 노이즈 경사 하강법 노이즈를 검증하고, 클리핑 기법이 성능 향상에 기여함을 보여준다.

ABSTRACT

Stochastic first-order methods such as Stochastic Extragradient (SEG) or Stochastic Gradient Descent-Ascent (SGDA) for solving smooth minimax problems and, more generally, variational inequality problems (VIP) have been gaining a lot of attention in recent years due to the growing popularity of adversarial formulations in machine learning. However, while high-probability convergence bounds are known to reflect the actual behavior of stochastic methods more accurately, most convergence results are provided in expectation. Moreover, the only known high-probability complexity results have been derived under restrictive sub-Gaussian (light-tailed) noise and bounded domain assumption [Juditsky et al., 2011]. In this work, we prove the first high-probability complexity results with logarithmic dependence on the confidence level for stochastic methods for solving monotone and structured non-monotone VIPs with non-sub-Gaussian (heavy-tailed) noise and unbounded domains. In the monotone case, our results match the best-known ones in the light-tails case [Juditsky et al., 2011], and are novel for structured non-monotone problems such as negative comonotone, quasi-strongly monotone, and/or star-cocoercive ones. We achieve these results by studying SEG and SGDA with clipping. In addition, we numerically validate that the gradient noise of many practical GAN formulations is heavy-tailed and show that clipping improves the performance of SEG/SGDA.

연구 동기 및 목표

• 비-서브가우시안(두꺼운 꼬리) 노이즈와 유계가 아닌 도메인 조건 하에서 스토하스틱 VIP 해법의 고확률 수렴 분석에 대한 이론적 간극을 메우기 위해.
• 두꺼운 꼬리 노이즈 조건 하에서 GAN 훈련에 대한 스토하스틱 외거진법 및 SGDA 방법에서 경사 하강법 클리핑이 성능 향상에 기여하는지 조사하기 위해.
• 실제 GAN 구조에서 경사 하강법 노이즈가 두꺼운 꼬리 분포를 보임을 경험적으로 검증하기 위해.
• 두꺼운 꼬리 노이즈 조건 하에서 단조성 및 구조적 비단조성 VIPs에 대해 클리핑된 SEG 및 SGDA의 수렴 보장을 수립하여, 경량 노이즈 조건에서의 최고 성능 결과와 동일한 수준을 달성하기 위해.

제안 방법

• 변분부등식 문제(VIPs)를 위한 스토하스틱 외거진법(SEG) 및 스토하스틱 경사하강법-상승법(SGDA)의 클리핑된 변형을 제안한다.
• 두꺼운 꼬리 스토하스틱 경사 하강법에서의 큰 변동을 제어하기 위해 경사 하강법 클리핑을 적용하여 안정성과 수렴성을 향상시킨다.
• 단조성 및 구조적 비단조성 VIPs에 대해 확률적 수렴 한계를 도출하였으며, 이는 신뢰도 수준에 대해 로그적 의존성을 가진다.
• 유계가 아닌 도메인 조건 하에서 수렴성을 확보하기 위해 두꺼운 꼬리 분포에 특화된 연산자 이론적 분석 및 농도 불등식을 활용한다.
• WGAN-GP 및 StyleGAN2에서의 경사 하강법 노이즈를 경험적으로 분석하여, 히스토그램 변화 및 통계적 검정을 통해 두꺼운 꼬리 행동을 보여준다.
• FID 점수 및 훈련 안정성 지표를 사용하여 여러 GAN 아키텍처에서 클리핑된 및 비클리핑된 SEG/SGDA 간 성능을 비교한다.

실험 결과

연구 질문

• RQ1 서브가우시안(경량 꼬리) 노이즈와 유계 도메인을 가정하지 않고도 스토하스틱 VIP 해법의 고확률 수렴 결과를 도출할 수 있는가?
• RQ2 경사 하강법 클리핑이 두꺼운 꼬리 노이즈 조건 하에서 GAN 훈련의 SEG 및 SGDA 성능을 향상시키는가?
• RQ3 WGAN-GP 및 StyleGAN2와 같은 현대 GAN 아키텍처에서 경사 하강법 노이즈가 진정으로 두꺼운 꼬리 분포를 보이는가?
• RQ4 클리핑된 SEG 및 SGDA는 경량 노이즈 가정 하에서의 최고 성능 결과와 유사한 수렴 속도를 달성하는가?

주요 결과

• 이 논문은 단조성 및 구조적 비단조성 VIPs에 대해 두꺼운 꼬리 노이즈와 유계가 아닌 도메인 조건 하에서 클리핑된 SEG 및 SGDA의 고확률 수렴 한계를 처음으로 도출하였다.
• 단조성 VIPs의 경우, 고확률 수렴 복잡도 한계가 서브가우시안 노이즈 조건 하에서의 최고 성능 결과와 일치하여, 두꺼운 꼬리 노이즈에 대한 강건성을 확인하였다.
• WGAN-GP 훈련에서 12개의 비클리핑된 SEG 실행 중 8개가 발산(무한대 손실)했지만, 클리핑된 SEG는 안정적인 훈련과 낮은 FID 점수를 달성하였다.
• StyleGAN2 훈련에서 비클리핑된 SGDA는 테스트한 모든 학습률에서 FID 향상에 실패했지만, 클리핑된 SGDA는 최고 FID 104.9를 기록하여 비클리핑 기반 모델을 크게 능가하였다.
• WGAN-GP 및 StyleGAN2에서의 경사 하강법 노이즈 히스토그램은 특히 후기 훈련 단계에서 뚜렷한 두꺼운 꼬리 행동을 보였으며, 이는 노이즈 모델의 실용적 관련성을 검증한다.
• SGDA 및 SEG에서 좌표별 클리핑이 일부 설정에서 노름 기반 클리핑보다 우수한 성능을 보였으며, 이는 GAN에서 클리핑 전략의 민감성에 대한 시사점을 제공한다.