[논문 리뷰] Lifted Primal-Dual Method for Bilinearly Coupled Smooth Minimax Optimization

Kiran Koshy Thekumparampil, Niao He외 1명|arXiv (Cornell University)|2022. 01. 19.

Stochastic Gradient Optimization Techniques인용 수 6

한 줄 요약

이 논문은 이중선형으로 결합된 부드러운 미니맥스 문제를 위한 새로운 단일루프 일阶 알고리즘인 업그레이드된 프리멀-듀얼(LPD) 방법을 제안한다. 목적 함수를 부드럽고 이중선형 항을 통합적으로 다룰 수 있도록 변형함으로써, LPD는 $\mathcal{O}\left(\left(\sqrt{\frac{L_x}{\mu_x}} + \frac{\|A\|}{\sqrt{\mu_x\mu_y}} + \sqrt{\frac{L_y}{\mu_y}}\right)\log\left(\frac{1}{\varepsilon}\right)\right)$의 최적 반복 복잡도를 달성하며, 기존 알려진 하한값과 일치하고, 스무딩을 통해 $f$가 볼록일 경우 거의 최적의 성능으로 확장된다.

ABSTRACT

We study the bilinearly coupled minimax problem: $\min_{x} \max_{y} f(x) + y^ op A x - h(y)$, where $f$ and $h$ are both strongly convex smooth functions and admit first-order gradient oracles. Surprisingly, no known first-order algorithms have hitherto achieved the lower complexity bound of $Ω((\sqrt{\frac{L_x}{μ_x}} + \frac{\|A\|}{\sqrt{μ_x μ_y}} + \sqrt{\frac{L_y}{μ_y}}) \log(\frac1{\varepsilon}))$ for solving this problem up to an $\varepsilon$ primal-dual gap in the general parameter regime, where $L_x, L_y,μ_x,μ_y$ are the corresponding smoothness and strongly convexity constants. We close this gap by devising the first optimal algorithm, the Lifted Primal-Dual (LPD) method. Our method lifts the objective into an extended form that allows both the smooth terms and the bilinear term to be handled optimally and seamlessly with the same primal-dual framework. Besides optimality, our method yields a desirably simple single-loop algorithm that uses only one gradient oracle call per iteration. Moreover, when $f$ is just convex, the same algorithm applied to a smoothed objective achieves the nearly optimal iteration complexity. We also provide a direct single-loop algorithm, using the LPD method, that achieves the iteration complexity of $O(\sqrt{\frac{L_x}{\varepsilon}} + \frac{\|A\|}{\sqrt{μ_y \varepsilon}} + \sqrt{\frac{L_y}{\varepsilon}})$. Numerical experiments on quadratic minimax problems and policy evaluation problems further demonstrate the fast convergence of our algorithm in practice.

연구 동기 및 목표

• 강한 볼록-강한 오목(Strongly Convex-Strongly Concave, Bi-SC-SC) 영역에서 알려진 알고리즘과 이론적 하한값 사이의 격차를 해소하기 위해.
• 조건수 $L_x/\mu_x$, $\|A\|/\sqrt{\mu_x\mu_y}$, $L_y/\mu_y$ 에 대한 최적 의존도를 가지는 일阶 알고리즘을 설계하기 위해.
• 단일 프리멀-듀얼 프레임워크 내에서 부드러운 볼록 항과 이중선형 결합 항을 통합적으로 다루어 다중루프 구조를 피하기 위해.
• 단 한 번의 기울기 오ракulum 호출만을 요구하는 단순한 단일루프 알고리즘을 제공하면서도 최적 수렴 속도를 유지하기 위해.

제안 방법

• 원래의 미니맥스 문제를 부드럽고 이중선형 항을 통합적으로 포함하는 확장된 형태로 변형하여, 단일 프리멀-듀얼 구조 내에서 통합 처리할 수 있도록 한다.
• 적절한 변환을 통해 $f(x)$, $h(y)$, $\langle y, Ax \rangle$ 를 단일 프리멀-듀얼 업데이트 방식으로 동시에 최적으로 처리할 수 있도록 한다.
• 수렴을 보장하고 오라클 호출 횟수를 최소화하기 위해 철저히 선택된 스텝 사이즈를 적용한 수정된 프리멀-듀얼 업데이트 규칙을 사용한다.
• 업그레이드된 공식화를 활용하여 Bi-SC-SC 클래스에 대해 알려진 하한값과 일치하는 수렴 보장을 도출한다.
• f가 볼록일 경우, 목적 함수를 강한 볼록성으로 만들기 위해 스무딩을 적용한 후 동일한 LPD 방법을 적용하여 거의 최적의 복잡도를 달성한다.
• f가 볼록일 경우, LPD의 직접적인 단일루프 변형을 통해 복잡도 $\mathcal{O}\left(\sqrt{\frac{L_x}{\varepsilon}} + \frac{\|A\|}{\sqrt{\mu_y\varepsilon}} + \sqrt{\frac{L_y}{\varepsilon}}\right)$ 를 달성한다.

실험 결과

연구 질문

• RQ1 이중선형으로 결합된 미니맥스 문제에 대해 일계 알고리즘이 $\Omega\left(\left(\sqrt{\frac{L_x}{\mu_x}} + \frac{\|A\|}{\sqrt{\mu_x\mu_y}} + \sqrt{\frac{L_y}{\mu_y}}\right)\log\left(\frac{1}{\varepsilon}\right)\right)$ 의 최적 반복 복잡도를 달성할 수 있는가?
• RQ2 다중루프나 내재된 계층적 구조에 의존하지 않고도 이 하한값을 충족하는 단일루프 알고리즘을 설계할 수 있는가?
• RQ3 부드러운 볼록 함수 최적화와 이중선형 항 최적화 사이의 개념적 격차를 단일 통합 프리멀-듀얼 프레임워크 내에서 메울 수 있는가?
• RQ4 f가 단지 볼록일 경우 LPD 방법의 반복 복잡도는 얼마이며, 거의 최적의 성능를 달성할 수 있는가?

주요 결과

• LPD 방법은 Bi-SC-SC 클래스에 대해 알려진 하한값과 일치하는 최적 반복 복잡도 $\mathcal{O}\left(\left(\sqrt{\frac{L_x}{\mu_x}} + \frac{\|A\|}{\sqrt{\mu_x\mu_y}} + \sqrt{\frac{L_y}{\mu_y}}\right)\log\left(\frac{1}{\varepsilon}\right)\right)$ 를 달성한다.
• 이 방법은 단일루프이며 반복당 단 한 번의 기울기 오라클 호출만을 요구하여, 이전의 다중루프 접근 방식보다 계산적으로 효율적이고 단순하다.
• f가 볼록일 경우, 동일한 LPD 알고리즘을 스무딩된 문제에 적용하여 $\varepsilon$ 에 대해 $\tilde{O}(\cdot)$ 의 의존도를 가지는 거의 최적의 복잡도를 달성한다.
• 볼록 케이스에서는 LPD의 직접적인 단일루프 변형이 복잡도 $\mathcal{O}\left(\sqrt{\frac{L_x}{\varepsilon}} + \frac{\|A\|}{\sqrt{\mu_y\varepsilon}} + \sqrt{\frac{L_y}{\varepsilon}}\right)$ 를 달성하며, 이는 거의 최적이다.
• 이차 미니맥스 및 정책 평가 문제에 대한 수치 실험은 실생활에서 LPD의 빠른 수렴 성능을 확인하며 기존 방법들을 능가한다.
• 이론적 분석은 업그레이드된 공식화 하에서 알고리즘이 유한한 반복값을 유지하고, 프리멀-듀얼 갭에서 선형 수렴을 달성함을 보여준다.