[논문 리뷰] Hybrid Variance-Reduced SGD Algorithms For Nonconvex-Concave Minimax Problems

Quoc Tran-Dinh, Deyi Liu외 1명|arXiv (Cornell University)|2020. 06. 27.

Stochastic Gradient Optimization Techniques참고 문헌 42인용 수 7

한 줄 요약

이 논문은 비볼록-선형 미니맥스 문제를 해결하기 위해 새로운 단일 루프, 분산 감소 기반의 확률적 경사하강 알고리즘을 제안한다. 스무딩과 하이브리드 편향 분산 감소 기법을 융합하여 최적의 $Ø(T^{-2/3})$ 수렴 속도와 가장 우수한 오라클 복잡도를 달성한다. 이 방법은 구현이 단순하며, 최소한의 하이퍼파rameter 튜닝을 필요로 하며, 일괄 샘플 또는 미니배치 도함수 추정기와 상수 또는 점점 감소하는 스텝 사이즈를 모두 지원한다.

ABSTRACT

We develop a novel and single-loop variance-reduced algorithm to solve a class of stochastic nonconvex-convex minimax problems involving a nonconvex-linear objective function, which has various applications in different fields such as machine learning and robust optimization. This problem class has several computational challenges due to its nonsmoothness, nonconvexity, nonlinearity, and non-separability of the objective functions. Our approach relies on a new combination of recent ideas, including smoothing and hybrid biased variance-reduced techniques. Our algorithm and its variants can achieve $\mathcal{O}(T^{-2/3})$-convergence rate and the best known oracle complexity under standard assumptions, where $T$ is the iteration counter. They have several computational advantages compared to existing methods such as simple to implement and less parameter tuning requirements. They can also work with both single sample or mini-batch on derivative estimators, and with constant or diminishing step-sizes. We demonstrate the benefits of our algorithms over existing methods through two numerical examples, including a nonsmooth and nonconvex-non-strongly concave minimax model.

연구 동기 및 목표

• 비볼록성, 비선형성, 비연결성, 목적 함수의 비미분성 등으로 인해 발생하는 계산적 과제를 해결하기 위해.
• 이중 루프 방법의 높은 계산 비용과 프록시-선형 하위문제를 피하는 단순하고 효율적이며 강건한 알고리즘을 개발하기 위해.
• 이러한 문제 유형에 대해 표준 가정 하에 가장 뛰어난 오라클 복잡도와 수렴 속도를 달성하기 위해.
• 최소한의 파rameter 튜닝으로 실용적인 구현을 가능하게 하고, 일괄 샘플 또는 미니배치 도함수 추정기 모두를 지원하기 위해.

제안 방법

• 목적 함수의 비미분성 Fenchel 쌍대를 다루기 위해 스무딩 기법을 사용하여 기울기 기반 최적화를 가능하게 한다.
• 다양한 기울기 추정기들을 조합하여 단일 루프 내에서 효율적으로 분산을 감소시키는 하이브리드 편향 분산 감소 기법을 도입한다.
• 기존의 미니맥스 문제를 스토처스 컴positions 비볼록 최적화 문제로 재구성하여, 분산 감소 기반의 확률적 경사하강 방법을 적용할 수 있도록 한다.
• 특히 비강한 볼록 설정에서 수렴을 향상시키기 위해 재시작 변형을 제안한다.
• 상수 또는 점점 감소하는 스텝 사이즈를 모두 지원하며, 스트로스틱 함수와 그 자코비안의 일괄 샘플 또는 미니배치 평가와도 호환된다.
• 이론적 분석을 통해 $Ø(T^{-2/3})$ 속도로 제1차 정류점으로 수렴하고, 최적의 $Ø(\varepsilon^{-3})$ 오라클 복잡도를 확립한다.

실험 결과

연구 질문

• RQ1 비볼록-선형 미니맥스 문제에 대해 단일 루프, 분산 감소 기반의 확률적 경사하강 방법이 최적의 수렴 속도와 오라클 복잡도를 달성할 수 있는가?
• RQ2 비용이 많이 드는 하위문제 해결에 의존하지 않고도 목적 함수의 비미분성과 비분리성 문제를 효과적으로 다룰 수 있는가?
• RQ3 제안된 방법이 기존의 이중 루프 또는 프록시-선형 방법보다 수렴 속도와 계산 효율성 측면에서 뛰어나게 성능을 낼 수 있는가?
• RQ4 스텝 사이즈 전략과 배치 크기가 실용적 환경에서 알고리즘 성능에 미치는 영향은 무엇인가?

주요 결과

• 제안된 알고리즘은 $Ø(T^{-2/3})$ 수렴 속도를 달성하며, 이는 이 문제 유형에 대해 표준 가정 하에서 최적이 된다.
• 이 방법은 $Ø(\varepsilon^{-3})$로 가장 뛰어난 오라클 복잡도를 확보하며, 스트로스틱 비볼록 최적화의 이론적 하한선과 일치한다.
• 수치 실험 결과, HSCG라는 이름의 알고리즘이 여러 데이터셋에서 CIVR, SCG, Prox-Linear를 모두 능가하며, 특히 고차원 및 비미분 설정에서 뛰어난 성능을 보였다.
• 알고리즘은 블록 크기와 데이터 구성이 다양할 때에도 강력한 성능을 유지하며, 강건성과 확장성을 입증했다.
• w8a 및 phishing 데이터셋과 같이 하위문제 해결이 계산적으로 비용이 많이 드는 경우, HSCG는 Prox-Linear를 크게 능가했다.
• covtype와 같이 Prox-Linear가 잘 작동하는 경우에도 HSCG는 경쟁력을 유지하며, 효율성과 유연성의 우수함을 입증했다.