[논문 리뷰] Understanding Overparameterization in Generative Adversarial Networks

Yogesh Balaji, Mohammadmahdi Sajedi외 5명|Publication Server of the Catholic University Eichstätt-Ingolstadt (Catholic University of Eichstätt-Ingolstadt)|2021. 04. 12.

Generative Adversarial Networks and Image Synthesis참고 문헌 39인용 수 12

한 줄 요약

이 논문은 생성적 적대적 네트워크(GANs)에서 과다파ram터화의 이론적 및 실증적 분석을 처음으로 제공하며, 일중간층 생성자와 선형 판별기로 구성된 과다파라미터화된 GAN이 경사하강/상승(GDA)에 의해 전역적으로 안장점으로 수렴함을 보여준다. 핵심 기여는 비볼록-볼록 최소화 문제에서 전역 수렴을 확립하는 선형 시간에 따라 변화하는 동적 시스템과의 새로운 연결고리이다. 이는 CIFAR-10 및 Celeb-A 데이터셋에서 개선된 FID 점수와 안정적인 학습을 통해 검증되었다.

ABSTRACT

A broad class of unsupervised deep learning methods such as Generative Adversarial Networks (GANs) involve training of overparameterized models where the number of parameters of the model exceeds a certain threshold. A large body of work in supervised learning have shown the importance of model overparameterization in the convergence of the gradient descent (GD) to globally optimal solutions. In contrast, the unsupervised setting and GANs in particular involve non-convex concave mini-max optimization problems that are often trained using Gradient Descent/Ascent (GDA). The role and benefits of model overparameterization in the convergence of GDA to a global saddle point in non-convex concave problems is far less understood. In this work, we present a comprehensive analysis of the importance of model overparameterization in GANs both theoretically and empirically. We theoretically show that in an overparameterized GAN model with a $1$-layer neural network generator and a linear discriminator, GDA converges to a global saddle point of the underlying non-convex concave min-max problem. To the best of our knowledge, this is the first result for global convergence of GDA in such settings. Our theory is based on a more general result that holds for a broader class of nonlinear generators and discriminators that obey certain assumptions (including deeper generators and random feature discriminators). We also empirically study the role of model overparameterization in GANs using several large-scale experiments on CIFAR-10 and Celeb-A datasets. Our experiments show that overparameterization improves the quality of generated samples across various model architectures and datasets. Remarkably, we observe that overparameterization leads to faster and more stable convergence behavior of GDA across the board.

연구 동기 및 목표

• GAN 학습에서 모델의 과다파라미터화가 비볼록-볼록 최소화 최적화 문제에서 어떤 이론적 역할을 하는지 이해하기.
• 과다파라미터화된 GAN에서 경사하강/상승(GDA)의 전역 수렴을 확립하는 것, 이는 이전에 해결되지 않은 문제이다.
• 선형 시간에 따라 변화하는 동적 시스템을 활용해 GAN에서의 과다파라미터화와 수렴 이론을 연결하는 것.
• 실증적으로 과다파라미터화가 다양한 아키텍처와 데이터셋에서 FID 점수, 샘플 품질, 학습 안정성 향상에 기여하는지 검증하는 것.

제안 방법

• 일중간층 신경망 생성자와 선형 판별기를 갖는 GAN의 이론적 분석을 통해 과다파라미터화 조건 하에서 GDA의 전역 수렴을 증명한다.
• 특정 구조적 가정(예: 랜덤 특징 판별기, 더 깊은 생성자) 하에서 비선형 생성자 및 판별기의 일반 수렴 결과를 유도한다.
• 과다파라미터화된 설정에서 GDA의 수렴 행동을 분석하기 위해 선형 시간에 따라 변화하는 동적 시스템과의 새로운 연결고리를 활용한다.
• DCGAN 및 ResNet 기반 GAN을 사용해 CIFAR-10 및 Celeb-A에서 다양한 은닉 차원 수(k)를 가진 실험을 수행하며, FID, 샘플 다양성, 학습 동역학을 측정한다.
• 단일 구성요소 과다파라미터화 실험을 통해 생성자와 판별기 너비의 영향을 분리하여 성능에 미치는 영향을 분석한다.
• 근접 이웃 시각화를 통해 다양한 과다파라미터화 수준에서 생성된 샘플의 다양성을 평가한다.

실험 결과

연구 질문

• RQ1 과다파라미터화는 비볼록-볼록 GAN 최적화 문제에서 GDA의 전역 수렴을 가능하게 하는가?
• RQ2 선형 시간에 따라 변화하는 동적 시스템 기반 이론적 프레임워크는 과다파라미터화된 GAN에서 GDA의 수렴을 설명할 수 있는가?
• RQ3 실제로 과다파라미터화는 학습 안정성, FID 점수, 샘플 품질에 어떤 영향을 미치는가?
• RQ4 과다파라미터화의 이점은 생성자와 판별기 간에 대칭적인가, 아니면 한 구성요소가 우세한가?
• RQ5 근접 이웃 분석을 통해 측정했을 때 과다파라미터화는 더 다양하고 현실적인 샘플 생성을 이끌어내는가?

주요 결과

• 이 논문은 일중간층 생성자와 선형 판별기를 갖는 과다파라미터화된 GAN에서 GDA의 전역 수렴에 대한 첫 번째 결과를 확립한다.
• 모든 평가된 아키텍처와 데이터셋에서 과다파라미터화는 더 빠르고 안정적인 학습 동역학을 이끌어낸다.
• 과다파라미터화가 증가할수록 FID 점수가 유의미하게 향상되며, 특히 높은 은닉 차원 수에서 최고 성능을 보인다(예: CIFAR-10에서 k=128).
• 근접 이웃 시각화 결과 과다파라미터화된 모델이 더 다양한 샘플을 생성함을 확인했으며, 모드 붕괴가 감소함을 확인했다.
• 단일 구성요소 과다파라미터화 실험 결과 생성자와 판별기 너비가 균형을 이루는 것이 최적의 성능을 내며, 한 구성요소가 현저히 넓어지면 성능 저하가 발생함을 보였다.
• 이론적 분석 결과 과다파라미터화된 GAN은 매개변수가 초기화 상태에서 가까이 유지되는 라지 트레이닝(lazy training) 형태를 경험하며, 선형 근사에 의해 전역 수렴이 가능해짐을 밝혀냈다.