[논문 리뷰] Stochastic Variance Reduction for Variational Inequality Methods

Ahmet Alacaoglu, Yura Malitsky|arXiv (Cornell University)|2021. 02. 16.

Stochastic Gradient Optimization Techniques참고 문헌 44인용 수 18

한 줄 요약

이 논문은 유한합 설정에서 단조성 조건 하에 변분부등식에 대한 확률적 분산감소 알고리즘을 제안한다. 이는 외삽법, 전진-뒤집힘-전진 방법, 전진-반사-뒤집힘 방법을 확장한 것으로, 결정론적 대응 방식과 동일한 수렴 보장을 달성하며, 유계 도메인이나 더 강한 가정 없이도 단조성 조건 하에서 볼록-볼록 형식의 사 saddle point 문제에 대해 기존에 알려진 최적 복잡도보다 우월하거나 동일한 복잡도를 달성한다.

ABSTRACT

We propose stochastic variance reduced algorithms for solving convex-concave saddle point problems, monotone variational inequalities, and monotone inclusions. Our framework applies to extragradient, forward-backward-forward, and forward-reflected-backward methods both in Euclidean and Bregman setups. All proposed methods converge in the same setting as their deterministic counterparts and they either match or improve the best-known complexities for solving structured min-max problems. Our results reinforce the correspondence between variance reduction in variational inequalities and minimization. We also illustrate the improvements of our approach with numerical evaluations on matrix games.

연구 동기 및 목표

• 최소화 문제에서처럼 단순하고 강건한 분산감소 기법이 변분부등식 분야에 적용되지 못하는 문제를 해결한다.
• 유계 도메인이나 더 강한 가정 없이도 단조성 조건 하에서만 수렴하는 단조성 변분부등식을 위한 확률적 알고리즘을 개발한다.
• 유한합 설정에서의 구조화된 최소-최대 문제에 대해 기존에 알려진 최고 수준의 속도와 동일하거나 이를 초월하는 복잡도 한계를 달성한다.
• 분산감소를 Bregman 설정과 단조성 포함 문제로 확장하여, 문헌상 처음으로 이러한 결과를 도출한다.
• 행렬 게임과 기존의 분산감소 기법에 대한 수치적 비교를 통해 실용적 이점을 입증한다.

제안 방법

• 유한합 단조성 변분부등식에 대해 외삽법(EG), 전진-뒤집힘-전진(FBF), 전진-반사-뒤집힘(FoRB) 방법의 확률적 변종을 제안한다.
• 전체 기울기의 추정치를 기준점에서 계산하고, 샘플링된 성분과 조합하는 방식으로 확률적 근사 기반의 분산감소 메커니즘을 사용한다.
• 세 점 항등식과 Bregman 발산 항등식을 적용하여 유클리드 및 Bregman 설정 모두에서 안정성과 수렴 한계를 유도한다.
• 내부 및 외부 반복을 포함하는 이중 루프 구조를 도입하여 분산을 감소시키면서도 단조성 조건 하에서 수렴성을 유지한다.
• 최소화 문제에서의 분산감소와 변분부등식 간의 유사성을 활용하여 알고리즘 설계를 통합한다.
• 제어 변수를 사용하는 재귀적 업데이트 규칙을 도입하여 확률적 연산자 평가의 분산을 감소시킨다.

실험 결과

연구 질문

• RQ1 최소화 문제에서의 분산감소 기법이 더 강한 가정 없이도 단조성 변분부등식에 자연스럽게 확장될 수 있는가?
• RQ2 유한합 구조를 가진 볼록-볼록 형식의 사addle point 문제에 대해 확률적 알고리즘의 최적 복잡도는 무엇인가?
• RQ3 전진-반사-뒤집힘 및 전진-뒤집힘-전진 방법에 대해 단조성 조건 하에서만 수렴하는 조건을 유지하면서도 확률적 분산감소를 적용할 수 있는가?
• RQ4 제안된 알고리즘은 기존의 유계 도메인 또는 추가적인 볼록성 가정이 필요한 확률적 방법보다 더 나은 복잡도를 달성하는가?
• RQ5 단조성 포함 문제와 Bregman 설정으로의 분산감소를 일반화하여 더 빠른 수렴 속도를 달성할 수 있는가?

주요 결과

• 제안된 확률적 알고리즘은 결정론적 대응 방식과 동일한 수렴 보장을 가지며, 단지 단조성 조건 하에서 수렴한다.
• 이차형 문제의 경우, $\mathcal{O}(N + \frac{\sqrt{N}L}{\varepsilon})$ 수준의 최고 수준 복잡도를 달성하며, 최신 기술과 동일한 성능을 보인다.
• 비이차형 문제의 경우, 기존에 알려진 최고 수준의 복잡도를 로그 인자만큼 향상시키며, 유계 도메인 가정이 필요하지 않다.
• 이 프레임워크는 유클리드 및 Bregman 설정 모두에서 외삽법, 전진-뒤집힘-전진, 전진-반사-뒤집힘 방법에 적용 가능하다.
• 이 접근법은 변분부등식에서의 분산감소와 최소화 문제 간의 근본적인 대응 관계를 확립하여 오랫동안 남아있던 이해의 격차를 해결한다.
• 행렬 게임에 대한 수치적 평가 결과, 결정론적 및 기존의 확률적 분산감소 기법보다 실용적인 성능 향상을 보였다.