[논문 리뷰] Non-Parametric Priors For Generative Adversarial Networks

Rajhans Singh, Pavan Turaga외 3명|arXiv (Cornell University)|2019. 05. 16.

Generative Adversarial Networks and Image Synthesis인용 수 7

한 줄 요약

이 논문은 생성적 적대적 네트워크(GANs)의 잠재공간 보간에서 분포 불일치 문제를 해결하기 위해 비모수적 사전분포를 제안한다. 확률론적 이론을 활용하고 표준 최적화 도구를 사용하여 문제를 최적화함으로써, 다중 림프(multi-lobe) 구조와 급격히 감쇠하는 꼬리 부분을 가진 맞춤형 사전분포를 학습한다. 이는 보간의 정밀도를 크게 향상시키며, 아키텍처나 학습 방식의 수정 없이 CelebA, CIFAR-10, LSUN 데이터셋에서 최신 기준(FID 점수)을 달성한다.

ABSTRACT

The advent of generative adversarial networks (GAN) has enabled new capabilities in synthesis, interpolation, and data augmentation heretofore considered very challenging. However, one of the common assumptions in most GAN architectures is the assumption of simple parametric latent-space distributions. While easy to implement, a simple latent-space distribution can be problematic for uses such as interpolation. This is due to distributional mismatches when samples are interpolated in the latent space. We present a straightforward formalization of this problem; using basic results from probability theory and off-the-shelf-optimization tools, we develop ways to arrive at appropriate non-parametric priors. The obtained prior exhibits unusual qualitative properties in terms of its shape, and quantitative benefits in terms of lower divergence with its mid-point distribution. We demonstrate that our designed prior helps improve image generation along any Euclidean straight line during interpolation, both qualitatively and quantitatively, without any additional training or architectural modifications. The proposed formulation is quite flexible, paving the way to impose newer constraints on the latent-space statistics.

연구 동기 및 목표

• 표준 모수적 사전분포(예: 정규분포, 균일분포)가 보간된 점의 분포를 잘 맞추지 못하는 GAN의 잠재공간 보간에서의 분포 불일치 문제를 해결한다.
• 중간점 분포의 발산을 줄이기 위해 고려된 바이어스가 있는 코시 분포와 같은 기존 모수적 사전분포의 한계를 극복한다. 이는 무거운 꼬리와 불안정한 생성을 동반한다.
• 아키텍처 변경 없이 추가 학습 데이터 없이도 작업에 특화된 사전분포를 학습할 수 있는 일반적이고 유연한 프레임워크를 개발한다.
• 최적화된 비모수적 잠재분포를 통해 사전점 및 중간점 생성 품질, 특히 보간 품질을 향상시킨다.

제안 방법

• 기본 확률론 이론을 사용하여 분포 불일치 문제를 수식화하고, 중간점 분포를 보간 경로에 대한 균일분포와 사전분포의 컨볼루션으로 모델링한다.
• 사전분포와 중간점 분포 간의 발산을 최소화하는 최적화 목표를 정의하고, 표준 최적화 도구를 사용하여 비모수적 사전분포를 구한다.
• 학습된 보간 조건 하에서 중간점 분포와 일치하도록 제약 조건을 부여한 비모수적 이산 분포로 사전분포를 표현한다.
• 학습된 비모수적 사전분포를 사용해 표준 GAN 학습을 수행하며, 생성자 및 판별자 아키텍처와 손실 함수를 그대로 유지한다.
• 비볼록성과 고차원성을 가진 최적화 문제를 효율적으로 해결하기 위해 기존 최적화 라이브러리를 활용한다.
• 표준 지표인 인ception 스코어(IS)와 프리셰트 인ception 거리(FID)를 사용해 여러 데이터셋(CelebA, CIFAR-10, LSUN)에서 방법의 성능을 검증한다.

실험 결과

연구 질문

• RQ1 GAN의 잠재공간 보간에서 원래 사전분포와 보간된 중간점 분포 사이의 분포 불일치를 최소화할 수 있는 비모수적 사전분포를 학습할 수 있는가?
• RQ2 표준 모수적 사전분포(예: 정규분포, 균일분포)보다 학습된 비모수적 사전분포가 보간 중 이미지 품질과 다양성 측면에서 향상되는가?
• RQ3 다양한 데이터셋에서 FID 및 인ception 스코어 측면에서 비모수적 사전분포는 전용 사전분포인 코시 또는 감마 분포와 비교해 어떻게 성능을 내는가?
• RQ4 생성자 아키텍처를 수정하거나 추가 학습 데이터가 필요 없이도 보간 정밀도를 향상시킬 수 있는가?
• RQ5 학습된 비모수적 사전분포는 어떤 정량적·정성적 특성을 가지며, 이는 향상된 생성 성능와 어떻게 관련되는가?

주요 결과

• 비모수적 사전분포는 평가된 모든 데이터셋에서 최고 또는 근접한 FID 점수를 기록한다: CelebA (19.115), CIFAR-10 (37.112), LSUN 침실(31.472), LSUN 주방(35.074), 균일, 정규, 감마, 코시 사전분포를 모두 초월한다.
• d=200인 CelebA 데이터셋에서 비모수적 사전분포는 중간점에서 FID 점수 19.115를 기록했으며, 균일 사전분포의 40.371과 코시 사전분포의 60.128보다 뚜렷이 낮다.
• d=100인 CIFAR-10 데이터셋에서 비모수적 사전분포는 중간점 FID를 37.112로 낮췄으며, 정규 사전분포(65.525)와 코시 사전분포(180.40)를 모두 압도했고, 다음으로 좋은 사전분포보다 2.8점 향상되었다.
• 비모수적 사전분포는 사전점 및 중간점 생성 품질을 일관되게 향상시키며, CIFAR-10에서 가장 높은 인ception 스코어(6.871), CelebA에서 1.973를 기록해 더 나은 이미지 품질과 다양성을 나타낸다.
• 학습된 비모수적 사전분포는 고유한 다중 림프(multi-lobe) 구조와 급격히 감쇠하는 꼬리 부분을 가지며, 이는 사전분포와 중간점 분포 간의 유사도를 높여 분포 불일치를 줄이는 데 기여한다.
• 이 방법은 복잡도가 다양한 데이터셋에 대해 강건하다: LSUN에서 가장 높은 성능(더 높은 변동성과 더 큰 학습 세트)을 보이며, 코시 분포와 마찬가지로 모드 붕괴와 불안정성 문제를 악화시키지 않고도 항상 모수적 사전분포를 능가한다.