[논문 리뷰] A Single-Loop Smoothed Gradient Descent-Ascent Algorithm for Nonconvex-Concave Min-Max Problems

Jiawei Zhang, Peijun Xiao외 2명|arXiv (Cornell University)|2020. 10. 29.

Sparse and Compressive Sensing Techniques참고 문헌 37인용 수 17

한 줄 요약

이 논문은 비볼록-볼록 최소화-최대화 문제를 위한 단일 루프 스무딩된 경사하강-상승(GDA) 알고리즘을 제안하며, 스무딩 기법을 통해 진동을 안정화시킨다. 점별 최대값을 최소화하는 데 있어 최적의 $O(1/\theta^2)$ 반복 복잡도를 달성하고, 일반적인 비볼록-볼록 문제에 대해서는 $O(1/\theta^4)$의 복잡도를 기록하며, 이는 이전의 다중 루프 방법들을 능가한다.

ABSTRACT

Nonconvex-concave min-max problem arises in many machine learning applications including minimizing a pointwise maximum of a set of nonconvex functions and robust adversarial training of neural networks. A popular approach to solve this problem is the gradient descent-ascent (GDA) algorithm which unfortunately can exhibit oscillation in case of nonconvexity. In this paper, we introduce a "smoothing" scheme which can be combined with GDA to stabilize the oscillation and ensure convergence to a stationary solution. We prove that the stabilized GDA algorithm can achieve an $O(1/ε^2)$ iteration complexity for minimizing the pointwise maximum of a finite collection of nonconvex functions. Moreover, the smoothed GDA algorithm achieves an $O(1/ε^4)$ iteration complexity for general nonconvex-concave problems. Extensions of this stabilized GDA algorithm to multi-block cases are presented. To the best of our knowledge, this is the first algorithm to achieve $O(1/ε^2)$ for a class of nonconvex-concave problem. We illustrate the practical efficiency of the stabilized GDA algorithm on robust training.

연구 동기 및 목표

• 비볼록-볼록 최소화-최대화 문제에 대한 경사하강-상승(GDA)에서 발생하는 진동 문제를 해결하기 위해.
• 비볼록 함수의 점별 최대값을 최소화하는 데 있어 최적의 반복 복잡도 $O(1/\epsilon^2)$를 달성하기 위해.
• 대규모 및 분산 학습에 적합한 단일 루프, 다중 블록 알고리즘을 개발하기 위해.
• 신경망의 강건한 적대적 학습에서 수렴성과 안정성을 향상시키기 위해.

제안 방법

• 업데이트 방향을 정규화함으로써 GDA를 안정화시키기 위한 스무딩 기법을 도입한다.
• 내부 루프 없이 각 반복에서 닫힌 형태의 업데이트를 사용하는 단일 루프 구조를 적용한다.
• 유한한 최대값 문제를 볼록 최소화-최대화 문제로 변환하기 위해 확률 단체형 수식을 사용한다.
• 적대적 학습에서 내부 최대화를 근사하기 위해 확률 단체형 위에서 경사상승을 수행한다.
• 효율적인 계산을 위해 $O(d\log d)$ 알고리즘을 사용해 단체형으로 투영한다.
• 분산 최적화에 적합한 다중 블록 설정으로 방법을 확장한다.

실험 결과

연구 질문

• RQ1 단일 루프 GDA 알고리즘이 비볼록-볼록 최소화-최대화 문제에 대해 $O(1/\epsilon^2)$ 반복 복잡도를 달성할 수 있는가?
• RQ2 스무딩이 비볼록 환경에서 GDA의 진동을 안정화시키고 방지할 수 있는가?
• RQ3 이 알고리즘은 다중 블록 및 분산 최적화 환경으로 확장될 수 있는가?
• RQ4 스무딩된 GDA는 기존의 다중 루프 알고리즘보다 수렴 속도와 강건성 면에서 뛰어나게 성능을 발휘하는가?

주요 결과

• 스무딩된 GDA는 비볼록 함수의 점별 최대값을 최소화하는 데 있어 $O(1/\epsilon^2)$ 반복 복잡도를 달성하며, 이는 이론적 하한과 일치한다.
• 일반적인 비볼록-볼록 문제에 대해서는 $O(1/\epsilon^4)$의 반복 복잡도를 기록하며, 이는 이전의 $O(1/\epsilon^{2.5})$ 한계를 향상시킨다.
• 이 클래스 문제에 대해 $O(1/\epsilon^2)$ 복잡도를 달성하는 최초의 단일 루프 방법이다.
• MNIST와 CIFAR10에서의 실험 결과, 기존 작업 대비 더 빠른 수렴과 경쟁 가능한 강건한 정확도(38.5%)를 확보했다.
• 30 에포크 이후 CIFAR10에서 [20]의 알고리즘보다 수렴 속도가 빠르게 성능을 발휘했다.
• 스무딩된 GDA는 강건한 적대적 학습에 효과적이며, 최소한의 하이퍼파rameter 튜닝으로도 최신 기술 수준의 성능을 달성한다.