[논문 리뷰] AdaGDA: Faster Adaptive Gradient Descent Ascent Methods for Minimax Optimization

Feihu Huang, Wu, Xidong외 1명|arXiv (Cornell University)|2021. 06. 30.

Sparse and Compressive Sensing Techniques참고 문헌 33인용 수 5

한 줄 요약

이 논문은 통합된 적응형 행렬과 모멘텀 기반 분산 감소 기법을 사용하여 비볼록-강력하게 볼록인 미니맥스 문제에 대해 더 빠른 적응형 경사하강법인 AdaGDA를 제안한다. AdaGDA의 경사하강 복잡도는 $\tilde{O}(\kappa^{4}\epsilon^{-4})$이며, VR-AdaGDA의 복잡도는 $\tilde{O}(\kappa^{4.5}\epsilon^{-3})$이다. 이는 이전의 적응형 GDA 방법들보다 각각 $O(\sqrt{\kappa})$와 $O\left(\epsilon^{-1}\right)$ 향상되었으며, 정책 평가과 공정한 분류기 학습에서의 실험을 통해 효율성이 확인되었다.

ABSTRACT

In the paper, we propose a class of faster adaptive Gradient Descent Ascent (GDA) methods for solving the nonconvex-strongly-concave minimax problems by using the unified adaptive matrices, which include almost all existing coordinate-wise and global adaptive learning rates. In particular, we provide an effective convergence analysis framework for our adaptive GDA methods. Specifically, we propose a fast Adaptive Gradient Descent Ascent (AdaGDA) method based on the basic momentum technique, which reaches a lower gradient complexity of $ ilde{O}(κ^4ε^{-4})$ for finding an $ε$-stationary point without large batches, which improves the existing results of the adaptive GDA methods by a factor of $O(\sqrtκ)$. Moreover, we propose an accelerated version of AdaGDA (VR-AdaGDA) method based on the momentum-based variance reduced technique, which achieves a lower gradient complexity of $ ilde{O}(κ^{4.5}ε^{-3})$ for finding an $ε$-stationary point without large batches, which improves the existing results of the adaptive GDA methods by a factor of $O(ε^{-1})$. Moreover, we prove that our VR-AdaGDA method can reach the best known gradient complexity of $ ilde{O}(κ^{3}ε^{-3})$ with the mini-batch size $O(κ^3)$. The experiments on policy evaluation and fair classifier learning tasks are conducted to verify the efficiency of our new algorithms.

연구 동기 및 목표

• 비볼록-강력하게 볼록인 미니맥스 문제에서 기존의 적응형 GDA 방법들이 가지는 높은 경사하강 복잡도 문제를 해결하기 위해.
• 좌표별 및 전역 학습률을 모두 포함하는 통합된 적응형 행렬을 사용한 적응형 학습률의 단일 프레임워크를 개발하기 위해.
• 큰 미니배치를 사용하지 않고도 모멘텀과 분산 감소 기법을 통해 수렴 속도를 향상시키기 위해.
• 일반적인 조건 하에서 적응형 GDA 방법에 대한 엄밀한 수렴 분석 프레임워크를 구축하기 위해.
• 정책 평가와 공정한 분류기 학습과 같은 실제 기계학습 과제에서 제안된 알고리즘의 효율성을 검증하기 위해.

제안 방법

• 기본 모멘텀 기법을 기반으로 한 경사하강 복잡도를 줄이기 위한 빠른 적응형 GDA 방법인 AdaGDA를 제안한다.
• 모멘텀 기반 분산 감소 기법을 사용한 가속 버전인 VR-AdaGDA를 도입하여 수렴 속도를 추가로 향상시킨다.
• 단일 프레임워크 내에서 좌표별 및 전역 적응형 학습률을 모두 포함시키기 위해 통합된 적응형 행렬을 활용한다.
• 경사하강 노름과 적응형 행렬 업데이트의 진화를 추적하는 새로운 분석 프레임워크를 사용하여 수렴 한계를 유도한다.
• VR-AdaGDA의 미니배치 버전을 도입하여 $O(\kappa^{3})$의 배치 크기로 $\tilde{O}(\kappa^{3}\epsilon^{-3})$의 복잡도를 달성한다.
• 예상된 외부 목표 함수의 경사하강 노름을 제한하기 위해 리아푸노프 함수와 재귀 부등식을 사용한다.

실험 결과

연구 질문

• RQ1 비볼록-강력하게 볼록인 미니맥스 문제에서 적응형 GDA 방법이 기존 방법들보다 더 낮은 경사하강 복잡도를 달성할 수 있는가?
• RQ2 모멘텀과 분산 감소 기법이 적응형 학습률과 효과적으로 조합되어 수렴 속도를 가속화할 수 있는가?
• RQ3 제안된 프레임워크는 큰 미니배치를 요구하지 않으면서도 낮은 경사하강 복잡도를 유지할 수 있는가?
• RQ4 제안된 적응형 GDA 및 그 가속 버전의 이론적 경사하강 복잡도는 무엇인가?
• RQ5 제안된 방법은 일반적인 적응형 학습률을 지원하면서도 최신 기술 수준의 수렴 속도를 달성할 수 있는가?

주요 결과

• AdaGDA는 $\epsilon$-정류점(\epsilon$-stationary point)을 찾기 위해 $\tilde{O}(\kappa^{4}\epsilon^{-4})$의 경사하강 복잡도를 달성하며, 이는 이전의 적응형 GDA 방법들보다 $O(\sqrt{\kappa})$ 향상되었다.
• VR-AdaGDA는 큰 배치를 사용하지 않아도 $\tilde{O}(\kappa^{4.5}\epsilon^{-3})$의 경사하강 복잡도를 달성하며, 이는 이전 결과보다 $O(\epsilon^{-1})$ 향상되었다.
• 미니배치 크기가 $O(\kappa^{3})$일 경우, VR-AdaGDA는 $\tilde{O}(\kappa^{3}\epsilon^{-3})$의 최고 수준의 경사하강 복잡도를 달성한다.
• 수렴 분석 프레임워크는 좌표별 및 전역 적응형 비율을 포함한 광범위한 적응형 행렬 클래스에 일반적으로 적용 가능하다.
• 정책 평가와 공정한 분류기 학습에 대한 실험을 통해 제안된 알고리즘의 효율성과 실용적 우수성이 입증되었다.
• 이론적 경계는 $q = O(\kappa^{\nu})$의 배치 크기 하에서 VR-AdaGDA의 수렴 속도가 $O(\kappa^{(3/2 - \nu/2)}/T^{1/3})$임을 보여주며, 이는 $T = \Omega(\kappa^{(9/2 - 3\nu/2)}\epsilon^{-3})$회의 반복을 요구한다.