[논문 리뷰] Non-parametric estimation of Jensen-Shannon Divergence in Generative Adversarial Network training

Mathieu Sinn, Ambrish Rawat|arXiv (Cornell University)|2017. 05. 25.

Generative Adversarial Networks and Image Synthesis참고 문헌 23인용 수 11

한 줄 요약

이 논문은 생성 모델 훈련을 향상시키기 위해 커널 GAN을 사용하여 제논-섀넌 상호정보량(Jensen-Shannon divergence)의 비모수적 추정을 제안한다. 적응형 대역폭 스케줄링을 통한 생성자 및 커널 파라미터의 동시 최적화를 통해, MNIST, CIFAR-10, CelebA에서 샘플의 다양성과 정확도가 향상되었으며, Inception 점수 및 JSD와 같은 핵심 지표에서 베이스라인 MMD 기반 모델을 능가한다.

ABSTRACT

Generative Adversarial Networks (GANs) have become a widely popular framework for generative modelling of high-dimensional datasets. However their training is well-known to be difficult. This work presents a rigorous statistical analysis of GANs providing straight-forward explanations for common training pathologies such as vanishing gradients. Furthermore, it proposes a new training objective, Kernel GANs, and demonstrates its practical effectiveness on large-scale real-world data sets. A key element in the analysis is the distinction between training with respect to the (unknown) data distribution, and its empirical counterpart. To overcome issues in GAN training, we pursue the idea of smoothing the Jensen-Shannon Divergence (JSD) by incorporating noise in the input distributions of the discriminator. As we show, this effectively leads to an empirical version of the JSD in which the true and the generator densities are replaced by kernel density estimates, which leads to Kernel GANs.

연구 동기 및 목표

• 커널 기반 통계를 활용한 비모수적 제논-섀넌 상호정보량 추정을 통해 생성 모델 훈련을 향상시키는 것.
• 적응형 커널 대역폭 스케줄링과 정규화를 통해 GAN의 불안정성과 모드 붕괴 문제를 해결하는 것.
• 오토에인코더를 통한 특징 공간 압축을 통해 커널 기반 생성 모델을 고차원 데이터셋(CIFAR-10 및 CelebA)에 확장하는 것.
• 다양한 정량적 지표를 사용하여 샘플 정확도, 다양성, 분포 일致성 간의 상호 관계를 평가하는 것.
• 커널 기반 GAN에서 균형 잡힌 JSD 항과 대역폭 조정이 일반화 능력 향상에 필수적임을 입증하는 것.

제안 방법

• 생성자 파라미터 θ와 커널 파라미터 σ를 번갈아가며 최소화하는 커널 기반 분산 목적함수를 갖는 최소-최대 최적화 프레임워크를 제안한다.
• 중심 트릭을 활용해 선택된 다수의 RBF 커널을 사용하며, 훈련 중 점진적으로 감소하는 대역폭을 적용하여 시뮬레이티드 어닐링을 모방한다.
• 고차원 이미지(CIFAR-10, CelebA 등)를 낮은 차원의 잠재 공간으로 투영하기 위해 오토에인코더를 사용하여 안정적인 훈련을 유도한다.
• li2017mmdgan의 설정을 따르며, 오토에인코더 복원 손실을 통한 정규화를 도입하여 훈련 안정성을 향상시킨다.
• 실제 샘플과 생성된 샘플에 대해 데이터 공간 또는 특징 공간에서 계산된 커널 기반 MMD 통계를 사용해 제논-섀넌 상호정보량을 추정한다.
• 10,000개의 생성 샘플을 사용해 몬테카를로 추정을 적용하여 모든 평가 지표를 산출한다.

실험 결과

연구 질문

• RQ1 비모수적 제논-섀넌 상호정보량 추정이 GAN 훈련의 안정성과 샘플 품질 향상에 기여할 수 있는가?
• RQ2 적응형 커널 대역폭 스케줄링은 커널 기반 GAN에서 모드 커버리지와 일반화 능력에 어떤 영향을 미치는가?
• RQ3 오토에인코더를 통한 저차원 특징 공간 활용이 고차원 데이터셋에서의 훈련 확장성에 얼마나 기여하는가?
• RQ4 JSD 목적함수의 첫 번째 및 두 번째 항은 생성자 성능의 정확도와 다양성 측면에서 어떤 관계를 가지는가?
• RQ5 커널 GAN은 GMMN 및 MMD-GAN과 같은 최신 기술 기반 MMD 모델과 비교해 경쟁 가능한 Inception 점수와 MMD 값을 달성할 수 있는가?

주요 결과

• MNIST에서 딥 컨volution형(DC) 아키텍처가 정확도와 다양성의 최적 균형을 이룩했으며, 기대 엔트로피(EE)는 0.289, Inception 점수(LS)는 7.464로 MNIST 테스트 세트 기준선에 가장 가까웠다.
• FC-FS 모델은 매우 부드러운 샘플을 생성했지만 다양성이 떨어졌으며, JSD-F(0.769)는 높고 JSD-S(0.603)는 낮아 JSD 항 간의 균형이 깨진 것으로 나타났다.
• CIFAR-10에서 커널 GAN은 Inception 점수 4.22 ± 0.02를 기록했으며, GMMN-AE(3.94 ± 0.04)와 GMMN(3.47 ± 0.03)보다 유의미하게 높았고, MMD-GAN(6.17 ± 0.07)에는 미치지 못했다.
• 커널 대역폭는 과적합 또는 모드 붕괴를 수정하는 데 효과적인 '노브'로 기능했으며, 극단적인 대역폭에서는 불안정성이 관찰되었다.
• 이 방법은 고차원 데이터셋(CIFAR-10 및 CelebA)으로도 성공적으로 확장되었으며, 하이퍼파rameter를 최적화하지 않았음에도 불구하고 li2017mmdgan의 결과와 정량적으로 유사한 샘플을 생성했다.
• JSD 목적함수의 두 항(JSD-F 및 JSD-S)의 균형을 맞추는 것이 생성자에서 양호한 일반화 능력을 달성하는 데 핵심적임을 규명했다.