[논문 리뷰] Optimistic Dual Extrapolation for Coherent Non-monotone Variational Inequalities

Chaobing Song, Zhengyuan Zhou외 3명|arXiv (Cornell University)|2021. 03. 07.

Stochastic Gradient Optimization Techniques인용 수 11

한 줄 요약

이 논문은 생성적 적대적 네트워크(GANs)의 훈련에 핵심적인 역할을 하는 일관된 비단조선형 변분부등식(VIPs)을 해결하기 위한 단일 그래디언트 평가 방법인 옵티미스틱 듀얼 을출(-optDE)을 제안한다. OptDE는 약한 해 가정 하에 강한 해로의 수렴 속도가 O(1/ε²)이며, σ-약한 해가 존재할 경우 선형 O(log(1/ε)) 수렴 속도를 달성한다. 이는 두 그래디언트 방법의 최신 기술 수준에 맞추어지며, 딥러닝 응용 분야에서 더 실용적이다.

ABSTRACT

The optimization problems associated with training generative adversarial neural networks can be largely reduced to certain {\em non-monotone} variational inequality problems (VIPs), whereas existing convergence results are mostly based on monotone or strongly monotone assumptions. In this paper, we propose {\em optimistic dual extrapolation (OptDE)}, a method that only performs {\em one} gradient evaluation per iteration. We show that OptDE is provably convergent to {\em a strong solution} under different coherent non-monotone assumptions. In particular, when a {\em weak solution} exists, the convergence rate of our method is $O(1/{ε^{2}})$, which matches the best existing result of the methods with two gradient evaluations. Further, when a {\em $σ$-weak solution} exists, the convergence guarantee is improved to the linear rate $O(\log\frac{1}ε)$. Along the way--as a byproduct of our inquiries into non-monotone variational inequalities--we provide the near-optimal $O\big(\frac{1}ε\log \frac{1}ε\big)$ convergence guarantee in terms of restricted strong merit function for monotone variational inequalities. We also show how our results can be naturally generalized to the stochastic setting, and obtain corresponding new convergence results. Taken together, our results contribute to the broad landscape of variational inequality--both non-monotone and monotone alike--by providing a novel and more practical algorithm with the state-of-the-art convergence guarantees.

연구 동기 및 목표

• 비볼록-비볼록 최소화-최대화 문제(예: GANs)에서 흔히 발생하는 비단조선형 변분부등식(VIPs)에 대해 일阶 방법의 수렴 보장을 부족하게 하는 문제를 해결하기 위해.
• 기존의 두 그래디언트 을출 방법과 달리 반복마다 단 한 번의 그래디언트 평가만을 요구하는 실용적인 알고리즘을 개발하기 위해.
• 일관된 비단조선형 가정 하에 강한 해로의 증명 가능한 수렴을 확립하기 위해, 약한 해 및 σ-약한 해 조건을 포함한다.
• 노이즈가 있거나 미니배치 그래디언트가 사용되는 스 tochastic 설정으로 분석을 확장하여, 새로운 수렴 결과를 제공하기 위해.
• 딥 러닝 모델 훈련에서 이론적 수렴 속도와 실용적 효율성 사이의 격차를 해소하기 위해.

제안 방법

• OptDE는 비단조선형 환경에서 반복점을 안정화하기 위해 을출 단계와 수정된 모멘타와 유사한 메커니즘을 결합한 새로운 옵티미스틱 듀얼 을출 업데이트를 도입한다.
• 이 방법은 반복마다 단 한 번의 그래디언트 평가만을 사용하므로, 두 그래디언트 을출 방법에 비해 계산적으로 효율적이다.
• 비단조선형일지라도 강한 해로의 수렴을 보장하기 위해 반복점에 대한 가중 평균화 기법을 사용한다.
• 알고리즘은 두 가지 핵심 가정 하에 분석된다: 약한 해의 존재(→ O(1/ε²) 수렴 속도) 및 σ-약한 해의 존재(→ 선형 O(log(1/ε)) 수렴 속도).
• 진전을 측정하기 위해 제한된 강력한 미리드 기능을 사용하며, 수렴 분석은 리아푸노프 함수와 재귀 부등식을 활용하여 반복점이 해로부터의 거리를 유계로 유지한다.
• 편차가 유한한 그래디언트 추정치를 통합함으로써 스 tochastic 설정으로 일반화되었으며, 온건한 가정 하에 수렴 보장이 유지된다.

실험 결과

연구 질문

• RQ1 비단조선형 변분부등식에서 두 그래디언트 을출 방법과 비교해 수렴 속도가 유사한 단일 그래디언트 평가 방법이 가능할 수 있는가?
• RQ2 약한 해나 σ-약한 해와 같은 일관된 비단조선형 가정 하에 어떤 수렴 보장을 확립할 수 있는가?
• RQ3 노이즈가 있는 그래디언트가 존재하는 스 tochastic 설정에서 제안된 방법의 성능은 어떠한가?
• RQ4 GAN 훈련에서와 같이 연산자가 단조가 아닐 경우에도 알고리즘이 강한 해로의 수렴을 유지할 수 있는가?
• RQ5 단일 호출 방법을 사용해 단조 VIPs에 대해 거의 최적의 수렴 속도를 달성할 수 있는가?

주요 결과

• 약한 해가 존재할 경우 OptDE는 강한 해로의 O(1/ε²) 수렴 속도를 달성하며, 이는 두 그래디언트 방법의 최고 수준의 기록과 일치한다.
• σ-약한 해가 존재할 경우 OptDE는 O(log(1/ε)) 수렴 속도로 선형 수렴을 보이며, 비선형 수렴 속도보다 크게 향상된다.
• 제한된 강력한 미리드 기능을 사용하여 단조 VIPs에 대해 거의 최적의 O(1/ε log(1/ε)) 수렴 보장을 제공한다.
• 편차가 유한한 조건 하에서 스 tochastic 설정에서도 수렴이 보장되어, 알고리즘의 적용 범위를 미니배치 훈련으로 확장한다.
• 반복마다 단 한 번의 그래디언트 평가만 요구함으로써 이론적 보장을 유지하면서도 딥러닝에 대한 실용성을 향상시킨다.