[논문 리뷰] Train simultaneously, generalize better: Stability of gradient-based minimax learners

Farzan Farnia, Asuman Ozdaglar|arXiv (Cornell University)|2020. 10. 23.

Sparse and Compressive Sensing Techniques참고 문헌 76인용 수 6

한 줄 요약

이 논문은 GAN과 같은 minimax 모델의 일반화 성능이 수렴 속도나 안정성 외에도 최적화 알고리즘의 선택에 의해 본질적으로 영향을 받는다는 것을 입증한다. 알고리즘 안정성 이론을 사용하여, 균형 잡힌 학습률을 사용한 기울기 하강 상승(GDA)의 동시에 학습 방식이 비동시 방법(GDmax)보다 일반화 성능이 뛰어나며, 특히 비볼록 비볼류프 설정에서 이론적 경계를 통해 향상된 초과 위험 스케일링을 보여준다.

ABSTRACT

The success of minimax learning problems of generative adversarial networks (GANs) has been observed to depend on the minimax optimization algorithm used for their training. This dependence is commonly attributed to the convergence speed and robustness properties of the underlying optimization algorithm. In this paper, we show that the optimization algorithm also plays a key role in the generalization performance of the trained minimax model. To this end, we analyze the generalization properties of standard gradient descent ascent (GDA) and proximal point method (PPM) algorithms through the lens of algorithmic stability under both convex concave and non-convex non-concave minimax settings. While the GDA algorithm is not guaranteed to have a vanishing excess risk in convex concave problems, we show the PPM algorithm enjoys a bounded excess risk in the same setup. For non-convex non-concave problems, we compare the generalization performance of stochastic GDA and GDmax algorithms where the latter fully solves the maximization subproblem at every iteration. Our generalization analysis suggests the superiority of GDA provided that the minimization and maximization subproblems are solved simultaneously with similar learning rates. We discuss several numerical results indicating the role of optimization algorithms in the generalization of the learned minimax models.

연구 동기 및 목표

• 최적화 알고리즘이 수렴성과 안정성 외에도 minimax 학습에서 일반화에 영향을 미치는지 조사하기.
• 볼록-볼류프 minimax 문제에서 표준 기울기 하강 상승(GDA) 및 프록시멀 포인트 방법(PPM)의 일반화 행동 분석하기.
• 비볼록 비볼류프 설정에서 동시에 학습하는(GDA 등) 및 비동시 학습하는(GDmax 등) 최적화 전략 간의 일반화 성능 비교하기.
• 일반화 분석을 위해 알고리즘 안정성 이론을 minimax 설정으로 확장하기.
• 동시 학습이 더 나은 일반화 성능을 이끌어내는 이론적 및 실험적 증거 제공하기.

제안 방법

• 감독 학습에서의 알고리즘 안정성 이론을 minimax 최적화로 확장하여, 훈련 데이터 변형에 대한 민감도를 측정함으로써 일반화를 평가한다.
• 강볼록 강볼류프 문제에서 GDA 및 PPM에 대한 안정성 기반 일반화 경계를 유도하며, PPM이 $O(\sqrt{1/n})$ 수준의 초과 위험을 달성함을 보여준다.
• 비볼록 강볼류프 문제에서의 확률적 GDA 및 GDmax를 분석하여, 최소화 및 최대화 플레이어가 유사한 학습률로 동시에 학습될 경우 GDA가 더 나은 일반화 성능을 보임을 증명한다.
• 이웃하는 데이터셋으로 학습된 모델 간의 매개변수 차이($\delta_t$)에 대한 재귀적 경계를 사용하여 일반화 위험 경계를 도출한다.
• Hardt 등(2016)의 확률적 기울기 하강 안정성 결과를 활용하여 경계를 minimax 설정으로 확장한다.
• 소멸하는 스텝 사이즈와 부드러움/Lipschitz 조건을 사용하여 일반적인 비볼록 비볼류프 문제에 대한 수렴성 및 안정성 속도를 유도한다.

실험 결과

연구 질문

• RQ1 minimax 최적화 알고리즘의 선택이 학습된 모델의 일반화 성능에 영향을 미치는가?
• RQ2 알고리즘 안정성 이론을 minimax 학습 문제의 일반화 분석에 확장할 수 있는가?
• RQ3 비볼록 비볼류프 설정에서 동시에 학습하는(GDA 등) 및 비동시 학습하는(GDmax 등) 최적화 전략 간의 일반화 성능는 어떻게 비교되는가?
• RQ4 볼록-볼류프 minimax 문제에서 GDA 및 PPM의 이론적 초과 위험 경계는 무엇인가?
• RQ5 최소화 및 최대화 플레이어의 동시에 학습이 순차적 또는 번갈아가며 업데이트하는 것보다 더 나은 일반화를 이끌어내는 조건는 무엇인가?

주요 결과

• 강볼록 강볼류프 minimax 문제에서, PPM은 $O(\sqrt{1/n})$ 수준의 유한한 일반화 위험을 달성하지만, 일정 학습률을 사용하는 GDA는 초과 위험가 유한함을 보장하지 못한다.
• 비볼록 강볼류프 문제에서, 동시에 업데이트하고 균형 잡힌 학습률을 사용하는 확률적 GDA는 GDmax보다 더 나은 일반화 성능을 보이며, 일반화 경계는 $O(T^{\ell c / (\ell c + 1)})$ 비례한다.
• 비볼록 비볼류프 문제에서 SGDA의 일반화 경계는 $\epsilon_{\text{gen}}(\text{SGDA}) \leq \frac{1 + \frac{1}{\ell c}}{n} (2cLL_w)^{1/(\ell c + 1)} T^{\ell c / (\ell c + 1)}$로 표현되며, 동시에 학습이 안정성을 향상시킴을 보여준다.
• 수치적 결과는 비볼록 GAN 설정에서 동시에 최적화(예: GDA)로 학습한 모델이 비동시 방법(예: GDmax)으로 학습한 모델보다 일반화 성능이 뛰어나다는 것을 확인한다.
• 이 연구는 GAN 학습에서 암묵적 경쟁 정규화의 역할을 지지하며, 동시에 최적화가 자연스럽게 더 나은 일반화를 이끌어낸다는 것을 시사한다.
• 이론적 분석은 동시에 학습이 수렴 속도를 가속화할 뿐 아니라 일반화 성능까지 향상시킨다는 것을 확인한다. 특히 최소화 및 최대화 플레이어의 학습률이 균형을 이루는 경우 더욱 그렇다.