[논문 리뷰] Forward-backward-forward methods with variance reduction for stochastic variational inequalities

Radu Ioan Boţ, Panayotis Mertikopoulos외 2명|arXiv (Cornell University)|2019. 02. 09.

Sparse and Compressive Sensing Techniques참고 문헌 4인용 수 13

한 줄 요약

이 논문은 분산 감소 기법을 통합한 새로운 스토하스틱 프론트워드-백워드-프론트워드 알고리즘을 제안하여 의사단조닉 스토하스틱 변분부등식을 해결한다. 팀젠의 프론트워드-백워드-프론트워드 프레임워크에 분산 감소 기법을 통합함으로써, 반복마다 단 한 번의 프로젝션만을 요구하면서도 거의 확실한 수렴성을 확보하여, 기존의 스토하스틱 에그라디언트 방법들보다 수렴 속도와 복잡도 면에서 뛰어나다.

ABSTRACT

We develop a new stochastic algorithm with variance reduction for solving pseudo-monotone stochastic variational inequalities. Our method builds on Tseng's forward-backward-forward (FBF) algorithm, which is known in the deterministic literature to be a valuable alternative to Korpelevich's extragradient method when solving variational inequalities over a convex and closed set governed by pseudo-monotone, Lipschitz continuous operators. The main computational advantage of Tseng's algorithm is that it relies only on a single projection step and two independent queries of a stochastic oracle. Our algorithm incorporates a variance reduction mechanism and leads to almost sure (a.s.) convergence to an optimal solution. To the best of our knowledge, this is the first stochastic look-ahead algorithm achieving this by using only a single projection at each iteration..

연구 동기 및 목표

• 고차원적이거나 적분이 구하기 어려운 적분으로 인해 기대값 연산자가 접근이 불가능한 상황에서 스토하스틱 변분부등식을 해결하는 데 도전하는 것.
• 팀젠의 프론트워드-백워드-프론트워드 방법의 계산 효율성을 유지하면서도 더 약한 단조성 가정 조건 하에서도 수렴성을 확보하는 스토하스틱 알고리즘을 개발하는 것.
• 스토하스틱 프론트워드-백워드-프론트워드 프레임워크에 분산 감소 기법을 통합하여 수렴 속도와 안정성을 향상시키는 것.
• 연산자의 의사단조닉성과 리프시츠 연속성 조건 하에서 제안된 방법의 거의 확실한 수렴 보장을 수립하는 것.
• 실험적으로 이 알고리즘이 반복 횟수와 수렴 속도 측면에서 기존의 스토하스틱 에그라디언트 방법들보다 뛰어나다는 것을 보여주는 것.

제안 방법

• 알고리즘은 매 반복마다 연산자 $ F(x, \xi) $ 를 샘플링하는 스토하스틱 오라클을 사용하여 팀젠의 프론트워드-백워드-프론트워드 방법을 스토하스틱 환경으로 확장한다.
• 현재 반복점 $ x_n $ 과 예측된 외삽된 점 $ y_n $ 에서 각각 한 번씩 평가하는 이중점 스토하스틱 오라클 기법을 사용하여 프론트워드-백워드-프론트워드 단계를 근사한다.
• 이전의 기울기 추정치를 사용하여 노이즈를 줄이기 위해 제어 변수 기법을 활용한 분산 감소 메커니즘이 도입된다.
• 감쇠하는 스텝 사이즈 규칙을 사용하고 의사단조닉성과 리프시츠 연속성 조건 하에서 거의 확실한 수렴을 보장한다.
• 알고리즘은 반복마다 오직 한 번의 유클리드 프로젝션만 수행하여 계산 효율성을 유지하면서도 수렴 안정성을 향상시킨다.
• 이론적 분석은 마팅게일 차분 수열과 스토하스틱 오차의 모멘트 경계에 기반하며, 조건부 기대값 기법을 사용하여 반복점의 분산을 제어한다.

실험 결과

연구 질문

• RQ1 분산 감소 기법을 통합한 스토하스틱 프론트워드-백워드-프론트워드 방법이 의사단조닉 스토하스틱 변분부등식에 대해 거의 확실한 수렴성을 달성할 수 있는가?
• RQ2 제안된 방법이 기존의 스토하스틱 에그라디언트 방법들보다 수렴 속도와 반복 복잡도 측면에서 뛰어나게 성능을 발휘하는가?
• RQ3 단 한 번의 프로젝션만을 요구하는 조건에서 프론트워드-백워드-프론트워드 프레임워크에 분산 감소 기법을 효과적으로 통합할 수 있는가?
• RQ4 강한 단조성 또는 단조성보다 더 약한 단조성 조건인 의사단조닉성 조건 하에서도 이 방법이 안정적인가?
• RQ5 분산 감소 기법이 수치 실험에서 수렴 안정성과 수렴 속도에 미치는 영향은 어떠한가?

주요 결과

• 제안된 SFBF 알고리즘은 연산자의 의사단조닉성과 리프시츠 연속성 조건 하에서 스토하스틱 변분부등식의 해로 거의 확실하게 수렴한다.
• 이 방법은 반복마다 오직 한 번의 프로젝션만을 요구하여 기존의 스토하스틱 에그라디언트 방법들보다 계산 효율성이 뛰어나다.
• 수치 실험 결과 SFBF는 특히 비대칭 게임 상황에서 스토하스틱 에그라디언트 방법(SEG)보다 수렴 속도와 반복 횟수 측면에서 일관되게 뛰어나게 성능을 발휘한다.
• 분산 감소 기법은 스토하스틱 기울기의 노이즈를 크게 줄여 더 빠르고 안정적인 수렴을 이끌어낸다.
• 이론적 분석을 통해 마팅게일 기법을 사용하여 스토하스틱 오차의 모멘트 경계를 확립하였으며, 오차는 $ O(1/\sqrt{m_{n+1}}) $ 의 속도로 감소한다. 여기서 $ m_{n+1} $ 은 반복당 샘플 수이다.
• 이 방법은 반복마다 오직 한 번의 프로젝션만을 사용하면서도 거의 확실한 수렴성을 확보하는 최초의 스토하스틱 룩어헤드 알고리즘으로, 분산 감소 기법을 통합하였다.