[논문 리뷰] A Provably Convergent and Practical Algorithm for Min-Max Optimization with Applications to GANs

Oren Mangoubi, Sushant Sachdeva외 1명|arXiv (Cornell University)|2021. 05. 04.

Stochastic Gradient Optimization Techniques참고 문헌 33인용 수 5

한 줄 요약

이 논문은 GAN 훈련과 같은 비볼록-비볼록 최소최대 최적화 문제를 위한 증명 가능하게 수렴하는 1차 알고리즘을 제안한다. 최소화자 플레이어를 위한 레이아웃 업데이트와 최대화자 플레이어의 전략에 대한 새로운 1차 근사법을 결합함으로써, 이 방법은 다항수(d, L, b) 단계 내에서 수렴하면서도 기울기 하강-상승과 유사한 효율성을 유지한다.

ABSTRACT

We present a first-order algorithm for nonconvex-nonconcave min-max optimization problems such as those that arise in training GANs. Our algorithm provably converges in poly(d,L,b) steps for any loss function f:Rd×Rd→R which is b-bounded with L-Lipschitz gradient. To achieve convergence, we 1) give a novel approximation to the global strategy of the max-player based on first-order algorithms such as gradient ascent, and 2) empower the min-player to look ahead and simulate the max-player’s response for arbitrarily many steps, but restrict the min-player to move according to updates sampled from a stochastic gradient oracle. Our algorithm, when used to train GANs on synthetic and real-world datasets, does not cycle, results in GANs that seem to avoid mode collapse, and achieves a training time per iteration and memory requirement similar to gradient descent-ascent.

연구 동기 및 목표

• 비볼록-비볼록 최적화 곡면으로 인해 기존 GAN 훈련 알고리즘의 수렴 보장이 부족한 문제를 해결한다.
• 유한하고 리프시츠 연속 기울기를 갖는 최소최대 문제에 대해 수렴을 보장하는 실용적인 1차 알고리즘을 개발한다.
• 과도한 계산 비용 없이 최소화자 플레이어가 최대화자 플레이어의 반응을 사전에 예측할 수 있도록 한다.
• 표준 기울기 하강-상승과 유사한 계산 및 메모리 효율성을 유지하면서 GAN에서 모드 붕괴를 방지한다.

제안 방법

• 기울기 상승을 사용하여 최대화자 플레이어의 전역 전략에 대한 새로운 1차 근사를 도입함으로써 실용적인 구현을 가능하게 한다.
• 최소화자 플레이어에 레이아웃 기능을 부여하여 다수 단계에 걸친 최대화자 플레이어의 반응을 시뮬레이션함으로써 안정성을 향상시킨다.
• 계산 효율성을 유지하기 위해 최소화자 플레이어의 업데이트를 확률적 기울기 샘플로 제한한다.
• 손실 함수의 기울기 리프시츠 상수(L)와 전역 상한(b)을 제한함으로써 수렴을 보장하며, 이로 인해 다항수(d, L, b) 수렴 단계를 도출한다.
• 표준 딥 러닝 프레임워크와의 호환성을 고려하여 알고리즘을 설계함으로써 GAN 훈련에 직접 적용 가능하게 한다.
• 최소화자 플레이어의 업데이트 메커니즘과 별도로 최대화자 플레이어의 반응 모델링을 분리함으로써 탐색과 안정성의 균형을 이룬다.

실험 결과

연구 질문

• RQ1 1차 알고리즘이 비볼록-비볼록 최소최대 최적화 문제에서 증명 가능하게 수렴할 수 있는가?
• RQ2 높은 계산 비용 없이 최소화자 플레이어는 최대화자 플레이어의 반응을 효과적으로 예측할 수 있는가?
• RQ3 제안된 방법은 기울기 하강-상승과 유사한 훈련 효율성과 메모리 사용을 유지하면서 GAN에서 모드 붕괴를 방지할 수 있는가?
• RQ4 차원 d, 기울기 리프시츠 상수 L, 손실 상한 b에 대해 알고리즘의 이론적 수렴 속도는 어떻게 되는가?
• RQ5 알고리즘은 합성 및 실제 데이터셋 모두에서 실용적인 GAN 훈련에서 순환과 모드 붕괴를 방지하는가?

주요 결과

• 모든 b-유계 손실 함수에 대해 L-리프시츠 기울기를 갖는 경우, 알고리즘이 다항수(d, L, b) 단계 내에서 수렴한다.
• 합성 및 실제 데이터셋 모두에서 GAN 훈련 중 순환과 모드 붕괴를 방지한다.
• 반복당 훈련 시간과 메모리 사용량은 표준 기울기 하강-상승과 유사하여 실용성을 확보한다.
• 레이아웃 메커니즘은 최소화자 플레이어가 다수 단계에 걸쳐 최대화자 플레이어의 반응을 시뮬레이션할 수 있도록 하여 안정성을 향상시킨다.
• 최대화자 플레이어의 전략에 대한 1차 근사는 이론적 보장을 유지하면서도 계산적으로 실현 가능하다.
• 실험 결과는 추가 정규화 없이도 안정적인 훈련 동역학과 향상된 생성 성능을 보였다.