[논문 리뷰] Optimal Epoch Stochastic Gradient Descent Ascent Methods for Min-Max Optimization

Yan Yan, Yi Xu외 3명|arXiv (Cornell University)|2020. 02. 13.

Stochastic Gradient Optimization Techniques참고 문헌 42인용 수 23

한 줄 요약

이 논문은 강한 볼록-강한 오목(Strongly Convex-Strongly Concave, SCSC) 최소화-최대화 최적화 문제를 해결하기 위해 에포크 단위의 확률적 경사하강상승(Stochastic Gradient Descent Ascent, Epoch-GDA) 방법을 제안한다. 부드러움 또는 이차형 구조를 요구하지 않고도 이중성 간격(duality gap)에 대해 최적의 수렴 속도 $O(1/T)$를 확립하며, 강한 볼록성과 강한 오목성을 바탕으로 기존의 에포크 단위 경사하강(Epoch-GD) 프레임워크를 최소화 문제에서 최소화-최대화 설정으로 확장하기 위해 새로운 기술적 분석을 수행한다.

ABSTRACT

Epoch gradient descent method (a.k.a. Epoch-GD) proposed by Hazan and Kale (2011) was deemed a breakthrough for stochastic strongly convex minimization, which achieves the optimal convergence rate of $O(1/T)$ with $T$ iterative updates for the {\it objective gap}. However, its extension to solving stochastic min-max problems with strong convexity and strong concavity still remains open, and it is still unclear whether a fast rate of $O(1/T)$ for the {\it duality gap} is achievable for stochastic min-max optimization under strong convexity and strong concavity. Although some recent studies have proposed stochastic algorithms with fast convergence rates for min-max problems, they require additional assumptions about the problem, e.g., smoothness, bi-linear structure, etc. In this paper, we bridge this gap by providing a sharp analysis of epoch-wise stochastic gradient descent ascent method (referred to as Epoch-GDA) for solving strongly convex strongly concave (SCSC) min-max problems, without imposing any additional assumption about smoothness or the function's structure. To the best of our knowledge, our result is the first one that shows Epoch-GDA can achieve the optimal rate of $O(1/T)$ for the duality gap of general SCSC min-max problems. We emphasize that such generalization of Epoch-GD for strongly convex minimization problems to Epoch-GDA for SCSC min-max problems is non-trivial and requires novel technical analysis. Moreover, we notice that the key lemma can also be used for proving the convergence of Epoch-GDA for weakly-convex strongly-concave min-max problems, leading to a nearly optimal complexity without resorting to smoothness or other structural conditions.

연구 동기 및 목표

• 강한 볼록성과 강한 오목성 조건 하에서 스위치 최소화-최대화 최적화의 수렴 속도 이론에서의 격차를 메우기 위해.
• 에포크 단위 경사하강 프레임워크(Epoch-GD)를 볼록 최소화에서 최소화-최대화 문제로 확장하기 위해.
• 부드러움 또는 이차형 구조와 같은 추가 가정 없이 일반적인 SCSC 문제에서 이중성 간격에 대한 최적의 $O(1/T)$ 수렴 속도를 확립하기 위해.
• 약한 볼록-강한 오목 문제로의 일반화를 위해 Epoch-GDA의 분석을 정밀하게 수행하고 거의 최적의 복잡도를 확보하기 위해.

제안 방법

• 에포크 단위의 확률적 경사하강상승(Epoch-GDA) 알고리즘을 도입하여, 각 에포크 동안 원천 변수와 이중 변수를 확률적 경사로 갱신한다.
• 에포크 간에 기하급수적으로 감소하는 스텝 사이즈를 사용하여 빠른 수렴을 달성한다. 이는 Epoch-GD와 유사하다.
• 강한 볼록성과 강한 오목성을 통해 반복값과 기준 해 사이의 관계를 이용해 이중성 간격을 제한하는 핵심 기술적 보조정리를 활용한다.
• 누적 수렴 한계를 유도하기 위해 에포크 간에 텔레스코프 합(sum) 기법을 적용한다.
• 목적 함수의 $x$에 대한 강한 볼록성과 $y$에 대한 강한 오목성을 활용해 반복값과 최적 해 사이의 거리를 제어한다.
• 보조 변수 $\hat{x}_k(y)$와 $\hat{y}_k(x)$를 포함한 노름 분해 기법과 볼록성 부등식의 조합을 통해 이중성 간격에 대한 경계를 유도한다.

실험 결과

연구 질문

• RQ1 강한 볼록성과 강한 오목성을 갖는 최소화-최대화 문제에 대해 에포크 단위 경사하강 프레임워크를 성공적으로 확장할 수 있는가?
• RQ2 부드러움 또는 구조적 가정 없이 일반적인 SCSC 최소화-최대화 문제에서 이중성 간격에 대해 $O(1/T)$ 수렴 속도를 달성할 수 있는가?
• RQ3 제안된 Epoch-GDA 방법이 부드러움 또는 이차형 구조에 의존하지 않고도 약한 볼록-강한 오목 문제에 대해 최적 수렴을 달성할 수 있는가?
• RQ4 부드러움 또는 특별한 함수 구조 없이 이중성 간격을 분석하기 위해 어떤 새로운 기술적 도구가 필요한가?

주요 결과

• 제안된 Epoch-GDA 방법은 일반적인 강한 볼록-강한 오목(SCSC) 최소화-최대화 문제에서 이중성 간격에 대해 최적의 $O(1/T)$ 수렴 속도를 달성한다.
• 이 분석은 목적 함수에 대한 부드러움, 이차형 구조 또는 기타 제한적인 가정 없이도 첫 번째로 이러한 최적 수렴 속도를 확립한다.
• 핵심 기술적 보조정리는 강한 볼록성과 강한 오목성을 통해 반복값과 기준 해 사이의 관계를 이용해 이중성 간격을 제한하는 데 기여한다.
• 부드러움 또는 구조 조건 없이도 약한 볼록-강한 오목 문제에 대해 거의 최적의 복잡도를 달성한다.
• 반복값과 최적 해 사이의 거리를 제어하기 위해 비틀림 없는 새로운 분해 기법이 필요하며, 수렴 분석은 비현실적이지 않다.
• 결과적으로 에포크-GD 프레임워크를 볼록 최소화에서 최소화-최대화 최적화로 일반화하며, 이는 이론적 발전에서 중요한 전환점이다.