[논문 리뷰] A Unified Single-loop Alternating Gradient Projection Algorithm for Nonconvex-Concave and Convex-Nonconcave Minimax Problems

Zi Xu, Huiling Zhang외 2명|arXiv (Cornell University)|2020. 06. 03.

Sparse and Compressive Sensing Techniques참고 문헌 54인용 수 23

한 줄 요약

이 논문은 비볼록-볼록 및 볼록-비볼록 미니맥스 문제를 해결하기 위한 통합된 단일루프 교대 기울기 투영(AGP) 알고리즘을 제안한다. 비볼록-강볼록 설정에서는 최적의 기울기 복잡도 𝒪(ε⁻²)을 달성하고, 비볼록-볼록 설정에서는 𝒪(ε⁻⁴)를 달성하며, (강) 볼록-비볼록 케이스에 대해선 처음으로 이론적 보장을 제공하고, 단일루프 방법 중 최신 기술 수준을 충족한다.

ABSTRACT

Much recent research effort has been directed to the development of efficient algorithms for solving minimax problems with theoretical convergence guarantees due to the relevance of these problems to a few emergent applications. In this paper, we propose a unified single-loop alternating gradient projection (AGP) algorithm for solving smooth nonconvex-(strongly) concave and (strongly) convex-nonconcave minimax problems. AGP employs simple gradient projection steps for updating the primal and dual variables alternatively at each iteration. We show that it can find an $\varepsilon$-stationary point of the objective function in $\mathcal{O}\left( \varepsilon ^{-2} ight)$ (resp. $\mathcal{O}\left( \varepsilon ^{-4} ight)$) iterations under nonconvex-strongly concave (resp. nonconvex-concave) setting. Moreover, its gradient complexity to obtain an $\varepsilon$-stationary point of the objective function is bounded by $\mathcal{O}\left( \varepsilon ^{-2} ight)$ (resp., $\mathcal{O}\left( \varepsilon ^{-4} ight)$) under the strongly convex-nonconcave (resp., convex-nonconcave) setting. To the best of our knowledge, this is the first time that a simple and unified single-loop algorithm is developed for solving both nonconvex-(strongly) concave and (strongly) convex-nonconcave minimax problems. Moreover, the complexity results for solving the latter (strongly) convex-nonconcave minimax problems have never been obtained before in the literature. Numerical results show the efficiency of the proposed AGP algorithm. Furthermore, we extend the AGP algorithm by presenting a block alternating proximal gradient (BAPG) algorithm for solving more general multi-block nonsmooth nonconvex-(strongly) concave and (strongly) convex-nonconcave minimax problems. We can similarly establish the gradient complexity of the proposed algorithm under these four different settings.

연구 동기 및 목표

• 이론적 수렴 보장을 갖는 효율적인 단일루프 알고리즘을 개발하여 비볼록-볼록 및 볼록-비볼록 미니맥스 문제를 해결하는 것.
• 이전에 문헌에서 분석되지 않은 (강) 볼록-비볼록 미니맥스 문제의 이론적 복잡도 한계를 메우는 것.
• 블록 교대 프락시멀 기울기(BAPG) 방법을 통해 다중블록, 비스무스, 비볼록-(강) 볼록 및 (강) 볼록-비볼록 설정으로 알고리즘을 확장하는 것.
• 비볼록-강볼록, 비볼록-볼록, (강) 볼록-비볼록 및 그들의 비스무스 다중블록 확장에 대해 네 가지 다른 문제 설정에서 기울기 복잡도 한계를 수립하는 것.
• 기계 학습 벤치마크에서의 수치 실험을 통해 제안된 알고리즘이 효율적이고 견고함을 입증하는 것.

제안 방법

• AGP 알고리즘은 단일루프 구조에서 각 반복마다 한 번의 기울기 투영 단계를 사용하여 원천(x)과 이중(y) 변수를 교대로 갱신한다.
• 내부 하위문제를 정확히 푸는 것을 피하기 위해 복잡한 내부 반복을 요구하지 않는 간단한 기울기 투영 단계를 사용한다.
• 단일 블록만 갱신하는 프락시멀 기울기 단계를 사용하는 블록 교대 프락시멀 기울기(BAPG) 방식을 통해 다중블록 문제로 확장된다.
• 목적 함수 f(x,y)의 미분 가능성과 유계성 조건을 가정하고, 집합 𝒳와 𝒴에 대한 제약 조건 하에 수렴 분석을 수행한다.
• 정확한 내부 문제 해를 필요로 하지 않는 새로운 분석 프레임워크를 통해 ε-정류점 향한 진전을 추적함으로써 이론적 보장을 도출한다.
• 최소한의 메모리와 계산 오버헤드로 실행 가능하도록 설계되어, 대규모 기계 학습 응용에 적합하다.

실험 결과

연구 질문

• RQ1 비볼록-볼록 및 비볼록-강볼록 미니맥스 문제에 대해 단일루프 알고리즘이 최적의 기울기 복잡도를 달성할 수 있는가?
• RQ2 이전에 연구되지 않은 (강) 볼록-비볼록 미니맥스 설정에서 이론적 수렴 보장을 확립할 수 있는가?
• RQ3 기존의 이중루프 및 단일루프 방법과 비교해 제안된 AGP 알고리즘의 반복 및 기울기 복잡도는 어떻게 되는가?
• RQ4 AGP 프레임워크를 다중블록, 비스무스, 비볼록-(강) 볼록 및 (강) 볼록-비볼록 문제로 일반화할 수 있으며, 이론적 보장이 있는가?
• RQ5 제안된 단일루프 접근법은 이중루프 알고리즘과 비교해 실사용에서 효율적이고 신뢰할 수 있는가?

주요 결과

• AGP 알고리즘은 비볼록-강볼록 문제에서 𝒪(ε⁻²) 기울기 복잡도를 달성하며, 이는 단일루프 방법 중 최고 수준의 기존 결과와 일치한다.
• 비볼록-볼록 문제의 경우, 알고리즘이 𝒪(ε⁻⁴) 기울기 복잡도를 확보하여 이 설정에서 단일루프 알고리즘 중 최적이다.
• 이것은 (강) 볼록-비볼록 미니맥스 문제에 대해 이론적 수렴 보장을 처음으로 확립한 사례이며, 각각 𝒪(ε⁻²) 및 𝒪(ε⁻⁴)의 기울기 복잡도를 제공한다.
• BAPG 확장은 다중블록, 비스무스, 비볼록-(강) 볼록 및 (강) 볼록-비볼록 문제에 대해 유사한 기울기 복잡도 한계를 달성하며, 이 분야에서 처음으로 이론적 결과를 제공한다.
• MNIST 및 CIFAR10에서의 수치 실험 결과, AGP는 GDA 및 히우리스틱 알고리즘보다 테스트 정확도와 학습 속도에서 뛰어나며, 특히 다중태스크 학습 환경에서 두각을 나타낸다.
• 정확한 내부 문제 해를 요구하지 않기 때문에 이중루프 방법의 높은 메모리 및 계산 비용을 피함으로써, 대규모 응용에 실용적이다.