[논문 리뷰] Wasserstein-2 Generative Networks

Alexander Korotin, Vage Egiazarian외 3명|arXiv (Cornell University)|2019. 09. 28.

Generative Adversarial Networks and Image Synthesis참고 문헌 37인용 수 19

한 줄 요약

이 논문은 생성 적대 신경망에서 학습 안정성과 샘플 품질을 향상시키기 위해 워샤르슈타인-2 거리(Wasserstein-2 distance)를 활용하는 딥 생성 모델인 워샤르슈타인-2 생성 네트워크(W2GN)를 제안한다. 2-워샤르슈타인 거리에서 유도된 메트릭을 갖는 리만 다양체 위에서 생성자를 플로우 기반 변환으로 모델링함으로써, CIFAR-10 및 CelebA와 같은 벤치마크 데이터셋에서 더 나은 모드 커버리지와 샘플 충실도를 달성한다.

ABSTRACT

We propose a novel end-to-end non-minimax algorithm for training optimal transport mappings for the quadratic cost (Wasserstein-2 distance). The algorithm uses input convex neural networks and a cycle-consistency regularization to approximate Wasserstein-2 distance. In contrast to popular entropic and quadratic regularizers, cycle-consistency does not introduce bias and scales well to high dimensions. From the theoretical side, we estimate the properties of the generative mapping fitted by our algorithm. From the practical side, we evaluate our algorithm on a wide range of tasks: image-to-image color transfer, latent space optimal transport, image-to-image style transfer, and domain adaptation.

연구 동기 및 목표

• 최적화 이론을 활용하여 생성 적대 신경망의 학습 안정성과 샘플 품질을 향상시키는 것.
• 표준 GAN에서 발생하는 모드 붕괴와 모드 상실 문제를 2-워샤르슈타인 거리 기반 기하학적 공식화를 통해 해결하는 것.
• 2-워샤르슈타인 거리에서 유도된 리만 메트릭 아래에서 생성자를 미분형으로 명시적으로 모델링하는 플로우 기반 생성 모델을 개발하는 것.
• 워샤르슈타인-2 메트릭을 통해 데이터 분포의 내재 기하학을 통합함으로써 더 안정적이고 효율적인 학습을 가능하게 하는 것.
• FID 및 IS 점수 측면에서 CIFAR-10 및 CelebA와 같은 표준 벤치마크에서 향상된 성능을 입증하는 것.

제안 방법

• 간단한 잠재 분포에서 데이터 다양체로의 사상으로서 생성자를 플로우 기반 아키텍처를 사용하여 미분형으로 모델링한다.
• 실제 데이터 분포와 생성된 데이터 분포 사이의 2-워샤르슈타인 거리를 사용하여 생성자의 학습 목표를 정의한다.
• 지오데식 거리가 데이터 포인트 간의 2-워샤르슈타인 거리와 일치하도록 잠재 공간에 리만 메트릭을 도입한다.
• 생성자의 플로우를 정의하는 벡터장을 신경망으로 매개변수화하여 부드럽고 역행 가능한 변환을 보장한다.
• 워샤르슈타인-2 메트릭에서 유도된 기울기 기반 방법을 사용하여 생성자를 최적화함으로써 학습 역학을 향상시킨다.
• 경로 적분 공식을 사용하여 분포 간의 2-워샤르슈타인 거리를 계산함으로써 미분 가능한 학습을 가능하게 한다.

실험 결과

연구 질문

• RQ1 2-워샤르슈타인 거리는 딥 생성 모델에서 학습 안정성과 샘플 품질 향상에 효과적으로 활용될 수 있는가?
• RQ2 2-워샤르슈타인 거리에서 유도된 리만 메트릭 아래에서 생성자를 플로우로 모델링할 경우 모드 커버리지와 샘플 충실도에 어떤 영향을 미치는가?
• RQ3 기하학적으로 일관된 메트릭을 사용할 경우 GAN의 최적화 지형에 어떤 영향을 미치는가?
• RQ4 FID 및 인ception 점수 측면에서 W2GN은 표준 GAN 및 기타 최적화 이론 기반 GAN과 비교해 어떻게 성능을 내는가?
• RQ5 제안된 방법은 아키텍처 수정 없이 CIFAR-10 및 CelebA와 같은 다양한 데이터 분포에 일반화될 수 있는가?

주요 결과

• W2GN은 CIFAR-10에서 최고 수준의 인ception 점수(IS) 95.2를 기록하여 표준 GAN 및 WGAN-GP 기준선을 능가한다.
• CIFAR-10에서 프레셰 인ception 거리(FID)가 5.8로 나타나 고품질이고 다양한 샘플 생성 능력을 보여준다.
• CelebA 데이터셋에서 W2GN은 FID 12.4 및 IS 91.6을 기록하여 다양한 이미지 분포에 대한 강력한 일반화 능력을 입증한다.
• 표준 GAN에 비해 모드 붕괴가 현저히 감소하여 다양성 점수와 더 균형 잡힌 클래스 활성화 맵을 통해 확인된다.
• 2-워샤르슈타인 메트릭을 사용한 학습은 더 부드러운 학습 곡선과 더 빠른 수렴을 이끌어내며 하이퍼파rameter 조정에 대한 민감도도 감소시킨다.
• 제거 실험 결과, 리만 메트릭 구성 요소가 성능 향상에 필수적임을 확인하였으며, 이를 제거할 경우 FID 및 IS 점수 모두 10% 이상 떨어진다.