[논문 리뷰] Composite Functional Gradient Learning of Generative Adversarial Models

Rie Johnson, Tong Zhang|arXiv (Cornell University)|2018. 01. 19.

Generative Adversarial Networks and Image Synthesis참고 문헌 20인용 수 4

한 줄 요약

이 논문은 전통적인 minimax 공식화를 피하는 복합 기능적 기울기 학습 기반의 새로운 안정적인 생성 적대적 학습 방법 xICFG를 제안한다. 강력한 판별기의 지시를 받는 기능적 기울기 단계를 반복적으로 적용하여 생성기를 향상시킴으로써, 진짜 데이터 분포와 생성된 데이터 분포 간의 KL 발산을 감소시킨다. 이로 인해 안정적인 훈련과 감소된 모드 붕괴를 달성하며, 이미지 생성 품질이 최신 기준 수준에 도달한다.

ABSTRACT

This paper first presents a theory for generative adversarial methods that does not rely on the traditional minimax formulation. It shows that with a strong discriminator, a good generator can be learned so that the KL divergence between the distributions of real data and generated data improves after each functional gradient step until it converges to zero. Based on the theory, we propose a new stable generative adversarial method. A theoretical insight into the original GAN from this new viewpoint is also provided. The experiments on image generation show the effectiveness of our new method.

연구 동기 및 목표

• 기존 minimax GAN의 불안정성에서 벗어나 안정적인 생성 적대적 학습 프레임워크를 개발하는 것.
• minimax 최적화가 아닌 기능적 기울기 하강에 기반한 GAN에 대한 새로운 이론적 기초를 제공하는 것.
• 반복적인 생성기 개선을 통해 이미지 생성에서 모드 붕괴를 줄이고 샘플 품질을 향상시키는 것.
• 훈련 안정성 지표를 설정하기 위해 판별기 출력 차이($\Delta_D$)를 사용하는 것.

제안 방법

• 복합 기능적 기울기 업데이트를 제안: $G_t(z) = G_{t-1}(z) + \eta_t g_t(G_{t-1}(z))$, 여기서 $g_t$는 데이터로부터 학습된다.
• 로지스틱 회귀를 통해 훈련된 강력한 판별기 $D_t$를 사용하여 로그우도 비율 $\mathcal{D}(x) = \ln \frac{p_*(x)}{p(x)}$를 근사한다.
• 기능적 기울기 단계를 $g_t(x) = s_t(x) \nabla D_t(x)$로 정의하며, $s_t(x)$는 스케일링을 위해 사용된다.
• 매 단계에서 현재 판별기를 사용하여 생성기를 개선하는 $T$단계에 걸친 탐욕적인 반복 최적화 과정을 적용한다.
• 훈련 중 실시간으로 안정성 지표로 판별기 출력 차이 $\Delta_D = |D(\text{real}) - D(\text{gen})|$를 사용한다.
• MNIST, SVHN, LSUN 데이터셋에서 성능 평가를 위해 합성곱 및 완전 연결 아키텍처를 적용한다.

실험 결과

연구 질문

• RQ1 minimax 공식화에 의존하지 않고도 GAN을 안정적으로 훈련시킬 수 있는가?
• RQ2 복합 생성기 변환에 대한 기능적 기울기 하강을 통해 진짜 데이터 분포와 생성된 데이터 분포 간의 KL 발산을 줄일 수 있는가?
• RQ3 제안된 방법은 기존 GAN 변종 대비 이미지 품질과 훈련 안정성에서 뛰어난 성능을 보일 수 있는가?
• RQ4 판별기 출력 차이 $\Delta_D$는 훈련 진행 상황 또는 실패 여부를 신뢰할 수 있는 지표로 기능할 수 있는가?
• RQ5 훈련 과정에서 도출된 최종 근사화 네트워크를 작고 고성능의 생성기로 사용할 수 있는가?

주요 결과

• xICFG는 WGAN-gp와 같은 최신 기법들과 비교해도 인ception 스코어에서 유사하거나 뛰어난 성능을 보였으며, 특히 LSUN과 SVHN에서 두드러졌다.
• MNIST, SVHN, LSUN에서 xICFG는 표준 GAN과 WGAN 변종보다 뛰어난 성능을 보였으며, 모드 붕괴의 빈도가 훨씬 적었다.
• 훈련 안정성이 향상되었으며, 성공적인 훈련에서는 $\Delta_D$가 단조롭게 감소하고 실패한 경우에 급격히 증가하는 것으로 확인되었다.
• 작은 $T$(예: 5–15)와 작은 생성기 조합을 사용해도 강력한 성능을 달성하여 효율성과 확장성을 입증했다.
• 훈련 과정에서 도출된 최종 근사화 네트워크는 동일한 크기의 기준 모델보다 성능이 같거나 뛰어나, 효과적인 지식 전이가 이루어졌음을 시사했다.
• 시각적 검토 결과, xICFG는 GAN 변종들에 비해 더 선명하고 다양한 이미지를 생성했으며, 특히 GAN1에서 관찰된 심각한 모드 붕괴를 피했다.