[논문 리뷰] Improved Training of Generative Adversarial Networks Using Representative Features

Duhyeon Bang, Hyunjung Shim|arXiv (Cornell University)|2018. 01. 28.

Advanced Image Processing Techniques참고 문헌 32인용 수 15

한 줄 요약

이 논문은 사전 훈련된 오토인코더에서 추출한 대표 특징을 생성판별기(GAN)의 판별기로 이전함으로써 훈련 안정성을 향상시키고, 이미지 품질과 다양성 사이의 상충관계를 해소하는 대표적 특징 GAN(RFGAN)을 제안한다. 정방향 KL 발산을 최소화하는 특징을 통해 판별기를 암묵적으로 정규화함으로써 역방향 KL과 정방향 KL의 영향을 균형 있게 조절함으로써 모드 붕괴를 감소시키고, 다양한 GAN 아키텍처에서 시각적 정확도와 샘플 다양성을 모두 향상시킨다.

ABSTRACT

Despite the success of generative adversarial networks (GANs) for image generation, the trade-off between visual quality and image diversity remains a significant issue. This paper achieves both aims simultaneously by improving the stability of training GANs. The key idea of the proposed approach is to implicitly regularize the discriminator using representative features. Focusing on the fact that standard GAN minimizes reverse Kullback-Leibler (KL) divergence, we transfer the representative feature, which is extracted from the data distribution using a pre-trained autoencoder (AE), to the discriminator of standard GANs. Because the AE learns to minimize forward KL divergence, our GAN training with representative features is influenced by both reverse and forward KL divergence. Consequently, the proposed approach is verified to improve visual quality and diversity of state of the art GANs using extensive evaluations.

연구 동기 및 목표

• GAN에서 자주 발생하는 시각적 품질과 이미지 다양성 사이의 지속적인 상충관계를 해결하기 위해, 이는 보통 모드 붕괴나 낮은 샘플 품질을 초래한다.
• 기존 GAN 목표 함수를 수정하거나 명시적 정규화 항을 추가하지 않고도 GAN의 훈련 안정성을 향상시키기 위해.
• 사전 훈련된 오토인코더에서 유도한 대표 특징을 활용하여 판별기를 암묵적으로 정규화함으로써 전체 데이터 분포를 고려하도록 이끌기 위해.
• 제안된 방법이 다양한 GAN 아키텍처에서 강건하며, 기울기 페널티와 조합되어도 효과가 있음을 입증하기 위해.
• 개선 효과가 데이터 과적합 때문이 아니라면, 부드러운 잠복공간 보간을 통해 검증하기 위해.

제안 방법

• 사전 훈련된 오토인코더를 사용해 진짜 데이터 분포로부터 대표 특징을 추출하고, 이를 표준 GAN의 판별기로 이전한다.
• 이러한 특징을 통합하여 판별기를 암묵적으로 정규화함으로써, 정방향 KL 발산을 최소화하도록 학습된 특징이 모드 커버리지 향상에 기여한다.
• 표준 GAN 손실에서 유래한 역방향 KL과 대표 특징에서 기인한 정방향 KL의 병합된 영향으로 훈련이 안정화되고 모드 붕괴가 감소한다.
• 오토인코더는 별도로 훈련된 후 GAN 훈련 전에 동결되어, 대표 특징이 초기 단계부터 안정적이고 정보가 풍부한 상태를 유지한다.
• DCGAN, LSGAN, WGAN-GP, DRAGAN 등 다양한 GAN 아키텍처와 호환되며, 기울기 페널티와도 조합 가능하다.
• 기존 GAN 목표 함수를 변경하지 않으며, 최소화 게임 형식을 유지하면서 특징 주입을 통해 판별기 행동을 향상시킨다.

실험 결과

연구 질문

• RQ1 사전 훈련된 오토인코더에서 유도한 대표 특징이 GAN 훈련 안정성 향상과 모드 붕괴 감소에 기여하는가?
• RQ2 특징 주입을 통한 역방향 KL과 정방향 KL 발산 영향의 조합이 더 나은 이미지 다양성과 시각적 품질을 이끌어내는가?
• RQ3 제안된 방법이 다양한 GAN 아키텍처에서 강건하며, 기울기 페널티와 조합되어도 효과가 있는가?
• RQ4 개선 효과가 데이터 과적합 때문이 아니라면, 더 나은 잠복공간 구조 때문인가?
• RQ5 기존 GAN 목표 함수를 수정하지 않고도 훈련 속도와 수렴성을 향상시키는가?

주요 결과

• RFGAN은 테스트된 모든 GAN에서 이미지 다양성을 크게 향상시키며, MS-SSIM 점수가 실제 데이터 수준에 가까워졌다. 특히 DCGAN-RF는 기준 DCGAN 대비 가장 두드러진 향상을 보였다.
• DRAGAN-RF는 가장 높은 MS-SSIM 성능를 기록하여 가장 다양한 샘플을 생성했고, DCGAN-RF는 모드 붕괴 감소 덕분에 기준 대비 가장 뚜렷한 향상을 보였다.
• DCGAN-RF에서 인코더에 잔차 블록을 사용할 경우 인ception 스코어가 6.73으로 상승하여 아키텍처 개선에 따른 성능 향상이 추가로 확인되었다.
• ALI/BiGAN과 AGE는 유사한 MS-SSIM 점수를 기록했지만 상대적으로 낮은 인ception 스코어(5.34 및 5.90)를 기록하여 더 나은 시각적 품질을 보이지 않았고, RFGAN는 6.20 이상의 인ception 스코어를 기록했다.
• RFGAN의 잠복공간 보간에서는 생성된 이미지 간에 부드러운 전환이 관찰되어, 모델이 의미 있는 잠복공간을 학습했고 과적합을 피했다는 것을 확인했다.
• 정보가 풍부한 초기 특징 덕분에 초기 단계 훈련 속도가 향상되었고, 명시적 정규화나 목표 함수 변경 없이도 안정성을 유지했다.