[논문 리뷰] Instability and Local Minima in GAN Training with Kernel Discriminators

Evan Becker, Parthe Pandit외 2명|arXiv (Cornell University)|2022. 08. 21.

Generative Adversarial Networks and Image Synthesis인용 수 5

한 줄 요약

이 논문은 커널 판별자를 사용한 GAN 훈련을 분석하기 위해 고립점 모델을 도입하며, 국소적 안정성이 각 영역의 과잉 점 질량에 의존함을 보여준다. 정확한 모드 붕괴는 불가능하다는 것을 증명하지만, 커널 폭과 초기 편향으로 인해 근사적 모드 붕괴와 발산이 발생할 수 있으며, 이는 일반적인 GAN 실패 모드에 대한 이론적 통찰을 제공한다.

ABSTRACT

Generative Adversarial Networks (GANs) are a widely-used tool for generative modeling of complex data. Despite their empirical success, the training of GANs is not fully understood due to the min-max optimization of the generator and discriminator. This paper analyzes these joint dynamics when the true samples, as well as the generated samples, are discrete, finite sets, and the discriminator is kernel-based. A simple yet expressive framework for analyzing training called the $ extit{Isolated Points Model}$ is introduced. In the proposed model, the distance between true samples greatly exceeds the kernel width, so each generated point is influenced by at most one true point. Our model enables precise characterization of the conditions for convergence, both to good and bad minima. In particular, the analysis explains two common failure modes: (i) an approximate mode collapse and (ii) divergence. Numerical simulations are provided that predictably replicate these behaviors.

연구 동기 및 목표

• 커널 판별자를 사용한 GAN 훈련의 불안정성과 수렴 문제를 이해하기 위해.
• 이산적이고 유한한 설정에서 훈련이 좋은 또는 나쁜 평형점으로 수렴할 조건을 특정하기 위해.
• 두 가지 일반적인 실패 모드인 근사적 모드 붕괴와 발산을 설명하기 위해.
• 커널 폭이 훈련 안정성과 수렴에 미치는 영향을 조사하기 위해.
• GAN 동역학의 핵심 현상을 반영하는 이론적으로 다룰 수 있는 모델을 제공하기 위해.

제안 방법

• 고립점 모델은 진짜 및 생성된 샘플이 충분히 분리되어 있어 각 생성된 점이 최대 한 개의 진짜 점과만 상호작용하도록 가정한다.
• 판별자는 커널 기반으로 작동하며, 거리 기반 커널을 사용하는 선형 매개변수화된 커널 함수를 사용한다.
• 과잉 점 질량(각 고립 영역 내 진짜 질량과 생성된 질량의 차이)을 통해 안정성을 분석한다.
• 기울기 역학과 커널 상호작용을 이용해 진짜 점으로의 국소 수렴을 위한 필요 및 충분 조건을 이론적으로 유도한다.
• 수치 시뮬레이션을 통해 이론적 예측을 검증하며, 제어된 조건에서 근사적 모드 붕괴와 발산을 재현한다.
• 딥 ReLU 네트워크와의 비교 실험을 통해 네트워크 깊이가 효과적 커널 폭과 수렴 행동에 미치는 영향을 연결한다.

실험 결과

연구 질문

• RQ1 고립점 모델에서 GAN 훈련이 어떤 조건에서 진짜 점으로 국소적으로 수렴하는가?
• RQ2 왜 이 커널 기반 GAN 프레임워크에서는 정확한 모드 붕괴가 증명 가능하게 불가능한가?
• RQ3 어떤 조건에서 생성된 질량이 진짜 점 근처에 집중되어 근사적 모드 붕괴가 발생하는가?
• RQ4 외부 힘이 없음에도 생성된 한 점이 모든 진짜 점에서 멀어지는 것은 어떻게 가능한가?
• RQ5 커널 폭이 GAN 훈련에서 모드 붕괴와 발산의 가능성에 어떻게 영향을 미치는가?

주요 결과

• 모든 생성된 점이 단일한 진짜 점에 집중되는 정확한 모드 붕괴는 고립점 모델 하에서 증명 가능하게 불가능하다.
• 과잉 생성 질량이 진짜 점 근처에 집중될 경우, 근사적 모드 붕괴가 국소적으로 안정된 평형점으로 발생할 수 있으며, 이는 과잉의 크기가 임의로 클 경우에도 가능하다.
• 생성된 점이 편향을 받고 모든 진짜 점에서 멀어지는 궤도에 갇히면 발산이 발생할 수 있으며, 이는 오직 자신의 커널 역사에 의해 구동된다.
• 더 넓은 커널 폭은 모드의 분리도를 낮추어 근사적 모드 붕괴와 발산의 가능성을 증가시키지만, 인접한 점을 구분하는 능력이 떨어져 수렴 속도를 저하시킨다.
• 더 깊은 신경망 판별자는 더 작은 효과적 커널 폭을 만들어내며, 이는 수렴을 향상시키고 진동을 줄이는 데 기여한다. 이는 이론적 모델에서의 커널 폭 영향과 일치한다.
• 수치 시뮬레이션은 모델이 다양한 초기 조건과 커널 파라미터 하에서 근사적 모드 붕괴와 발산을 예측 가능한 방식으로 재현함을 확인한다.