[논문 리뷰] On the convergence of single-call stochastic extra-gradient methods

Yu-Guan Hsieh, Franck Iutzeler외 2명|arXiv (Cornell University)|2019. 08. 22.

Sparse and Compressive Sensing Techniques참고 문헌 32인용 수 23

한 줄 요약

이 논문은 비단조화 변분부등식에서 단일호출 확률적 추가경사(1-EG) 방법에 대한 최초의 수렴 속도 보장을 확립한다. 1-EG 방법의 최종 반복이 이차 충분조건을 만족하는 해로 O(1/t) 국소 수렴 속도를 달성함을 증명하며, 단조성 조건을 초월해 최적의 수렴 속도를 확장한다.

ABSTRACT

Variational inequalities have recently attracted considerable interest in machine learning as a flexible paradigm for models that go beyond ordinary loss function minimization (such as generative adversarial networks and related deep learning systems). In this setting, the optimal $\mathcal{O}(1/t)$ convergence rate for solving smooth monotone variational inequalities is achieved by the Extra-Gradient (EG) algorithm and its variants. Aiming to alleviate the cost of an extra gradient step per iteration (which can become quite substantial in deep learning applications), several algorithms have been proposed as surrogates to Extra-Gradient with a \emph{single} oracle call per iteration. In this paper, we develop a synthetic view of such algorithms, and we complement the existing literature by showing that they retain a $\mathcal{O}(1/t)$ ergodic convergence rate in smooth, deterministic problems. Subsequently, beyond the monotone deterministic case, we also show that the last iterate of single-call, \emph{stochastic} extra-gradient methods still enjoys a $\mathcal{O}(1/t)$ local convergence rate to solutions of \emph{non-monotone} variational inequalities that satisfy a second-order sufficient condition.

연구 동기 및 목표

• 딥러닝에서 변분부등식을 해결하기 위한 추가경사(EG) 방법에서 두 개의 경사도 호출로 인한 높은 계산 비용을 해결한다.
• 각 반복에서 한 번의 오라클 호출만을 사용하면서도 EG의 예측 성질을 유지하는 단일호출 추가경사(1-EG) 방법을 위한 통합 프레임워크를 개발한다.
• 단조성 조건 하에서 결정론적 및 확률적 환경에서 1-EG 방법의 최적 O(1/t) 수렴 속도를 확립한다.
• 이차 충분조건 하에서 국소 O(1/t) 최종반복 수렴 보장을 비단조화 문제로 확장한다.
• GAN과 같이 비볼록이고 비단조화인 환경에서 1-EG 방법을 사용하기 위한 이론적 기반을 제공한다. 여기서 최종반복 수렴은 필수적이다.

제안 방법

• 각 반복에서 한 번의 경사도 평가만을 사용하여 EG의 두 경사도 구조를 근사하는 단일호출 추가경사(1-EG) 방법을 분석하기 위한 합성 프레임워크를 제안한다.
• 해에 대한 제곱거리에 기반한 리아푸노프 함수 분석을 도입하며, 반복값이 해의 이웃에 머무르는 사건 $E_t$ 를 조건으로 한다.
• 두 단계 업데이트 규칙을 사용한다: 예측된 경사도를 사용한 외삽 단계와, 단일 경사도 평가를 통한 보정 단계.
• 소음 범위와 스텝 사이즈 제어를 통합한 기대 제곱거리의 재귀 부등식을 활용한다.
• 소음은 국소적으로만 유한함을 보장하기 위해 감소하는 사건 $E_t$ 를 사용하는 확률적 추론을 적용한다.
• 핵심 기술 레이마(A.3)를 활용하여 기대 오차 감쇠 속도를 바운드함으로써, 적절한 스텝 사이즈 및 소음 가정 하에 O(1/t) 수렴을 이끌어낸다.

실험 결과

연구 질문

• RQ1 단일호출 추가경사 방법이 결정론적, 매끄럽고 단조성 조건을 만족하는 변분부등식에서 최적의 O(1/t) 수렴 속도를 달성할 수 있는가?
• RQ2 1-EG 방법이 분산이 유한한 소음이 존재하는 확률적 환경에서도, 평균화 평균과 최종 반복 모두 O(1/t) 수렴 속도를 유지하는가?
• RQ3 이차 충분조건을 만족하는 비단조화 변분부등식에서 1-EG 방법의 최종 반복 수렴을 보장할 수 있는가?
• RQ4 국소 소음 가정은 비단조화 문제에서 수렴을 달성하는 데 어떤 역할을 하는가?
• RQ5 사건 기반 분석 프레임워크는 소음의 전역 유한성 조건 없이도 수렴을 보장하는 데 어떻게 기여하는가?

주요 결과

• 1-EG 방법은 결정론적, 매끄럽고 단조성 조건을 만족하는 변분부등식에서 O(1/t) 평균화 수렴 속도를 달성한다.
• 분산이 유한한 소음이 존재하는 확률적 환경에서, 1-EG 방법의 평균화 평균과 최종 반복 모두 O(1/t) 수렴 속도를 달성한다.
• 이차 충분조건을 만족하는 비단조화 변분부등식에서, 1-EG 방법의 최종 반복은 높은 확률로 국소적으로 O(1/t) 수렴 속도를 달성한다.
• 수렴 결과는 국소 소음 가정 하에서도 성립하며, 해의 이웃에서 두 번째 모멘트가 유한함만 요구된다.
• 분석은 최종 반복이 수렴뿐만 아니라 최적의 속도를 달성함을 보여주며, 이는 평균화가 실패하는 비단조화 문제에서 매우 중요하다.
• 이론적 프레임워크는 비단조화 환경에서 단일호출 추가경사 방법에 대해 최초로 O(1/t) 최종반복 수렴 보장을 제공한다.