[논문 리뷰] Fictitious GAN: Training GANs with Historical Models

Hao Ge, Xia Yin외 3명|arXiv (Cornell University)|2018. 03. 23.

Generative Adversarial Networks and Image Synthesis인용 수 10

한 줄 요약

Fictitious GAN은 히스토리컬한 생성자 및 판별자 모델의 혼합을 사용하여 생성적 적대적 네트워크의 훈련을 안정화하고 수렴성을 향상시키는 새로운 훈련 방법을 제안한다. 각 네트워크는 과거 모델들의 평균 출력에 대한 최적 반응을 기반으로 업데이트되며, 이로 인해 생성자의 평균 출력이 점점 진짜 데이터 분포와 일치하게 된다. 이는 모드 붕괴나 진동과 같은 일반적인 실패 모드를 해결한다.

ABSTRACT

Generative adversarial networks (GANs) are powerful tools for learning generative models. In practice, the training may suffer from lack of convergence. GANs are commonly viewed as a two-player zero-sum game between two neural networks. Here, we leverage this game theoretic view to study the convergence behavior of the training process. Inspired by the fictitious play learning process, a novel training method, referred to as Fictitious GAN, is introduced. Fictitious GAN trains the deep neural networks using a mixture of historical models. Specifically, the discriminator (resp. generator) is updated according to the best-response to the mixture outputs from a sequence of previously trained generators (resp. discriminators). It is shown that Fictitious GAN can effectively resolve some convergence issues that cannot be resolved by the standard training approach. It is proved that asymptotically the average of the generator outputs has the same distribution as the data samples.

연구 동기 및 목표

• 표준 적대적 훈련에서 흔히 발생하는 수렴 문제, 즉 모드 붕괴와 진동과 같은 문제를 해결하기 위해.
• GAN 훈련을 두 명의 플레이어가 참여하는 제로섬 게임으로 공식화하고, 게임 이론 원리를 적용하여 안정성을 향상시키기 위해.
• 히스토리컬 모델을 사용하여 현재 업데이트를 이끌어내는 훈련 방법을 개발하여 다양성과 분포 일치를 향상시키기 위해.
• 제안된 프레임워크 하에서 생성 샘플의 평균이 진짜 데이터 분포로 수렴한다는 이론적 증명을 제공하기 위해.
• 기존 GAN 아키텍처와 최적화 방법과 호환되며 계산 복잡도가 낮고 플러그인 방식인 메타알고리즘을 제공하기 위해.

제안 방법

• 판별자는 이전에 훈련된 생성자들의 출력에 대한 균일한 혼합에 대한 최적 반응을 기반으로 업데이트된다.
• 생성자는 이전에 훈련된 판별자들의 출력에 대한 균일한 혼합에 대한 최적 반응을 기반으로 업데이트된다.
• 각 훈련 단계에서, 과거 생성자 및 판별자 파라미터의 누적 평균을 사용하여 히스토리컬 혼합을 형성한다.
• 이 방법은 게임 이론에서 유래한 허구적 플레이에 기반하며, 플레이어들은 상대방의 과거 전략의 경험적 분포에 최적 반응한다.
• 최적화 목표는 생성된 분포의 평균과 데이터 분포 사이의 젠센-쇼넬 분산을 최소화하는 것으로 재정의된다.
• 이 방법은 표준 딥러닝 프레임워크를 사용하여 Adam 최적화를 적용하며, 모델 재훈련이나 가중 평균화가 필요하지 않다.

실험 결과

연구 질문

• RQ1 허구적 플레이에서 영감을 얻은 게임 이론적 접근이 GAN 훈련의 수렴성과 안정성을 향상시킬 수 있는가?
• RQ2 히스토리컬 모델의 혼합을 사용할 경우 분포 일치가 향상되고 모드 붕괴가 감소하는가?
• RQ3 제안된 훈련 체계 하에서 생성자의 출력 평균이 진짜 데이터 분포로 수렴하는가?
• RQ4 제안된 방법은 표준 GAN 훈련과 비교하여 훈련 동역학과 샘플 품질 측면에서 어떻게 성능을 내는가?
• RQ5 허구적 훈련 메커니즘은 계산 오버헤드를 증가시키지 않으면서도 기존 GAN 아키텍처와 최적화 방법과 호환되는가?

주요 결과

• 생성된 분포의 평균과 데이터 분포 사이의 젠센-쇼넬 분산이 0으로 수렴함에 따라 생성자 출력의 평균이 진짜 데이터 분포로 수렴한다.
• 판별자의 출력은 최적 함수 $ D^*(\mathbf{x}) = \frac{p_d(\mathbf{x})}{p_d(\mathbf{x}) + p_g^*(\mathbf{x})} $ 로 수렴하며, 여기서 $ p_g^* = p_d $ 이다.
• 이 방법은 GAN 게임의 유일한 내쉬 균형에 도달한다. 이는 생성자의 출력이 데이터 분포와 일치하고, 판별자가 모든 입력에 대해 0.5를 출력함을 의미한다.
• 합성 데이터 및 실질적 데이터셋(MNIST, CIFAR-10, Celeb-A)에서의 실험 결과는 표준 GAN 훈련에 비해 훈련 안정성과 샘플 다양성이 향상됨을 보여준다.
• 추가 하이퍼파라미터나 복잡한 모델 평균화가 필요로 하지 않으며, 최소한의 계산 오버헤드로 히스토리컬 모델의 균일 평균을 사용한다.
• 이론적 분석은 표준 기울기 기반 방법이 실패할 수 있는 상황에서도 약한 정규성 조건 하에 훈련 과정이 최적 해로 수렴함을 확인한다.