[논문 리뷰] (q,p)-Wasserstein GANs: Comparing Ground Metrics for Wasserstein GANs

Anton Mallasto, Jes Frellsen외 2명|arXiv (Cornell University)|2019. 02. 10.

Generative Adversarial Networks and Image Synthesis참고 문헌 20인용 수 9

한 줄 요약

이 논문은 p-Wasserstein 거리와 l^q 기저 거리(metric)를 유연하게 선택할 수 있도록 일반화한 (q,p)-Wasserstein GANs를 소개한다. 실험을 통해 p와 q가 GAN 성능에 상당한 영향을 미친다는 것을 입증한다. MNIST와 CIFAR-10에서의 실험 결과, l^1 기저 거리(q=1)와 p=2를 사용할 경우, 표준 (2,1) WGAN과 WGAN-GP에 비해 더 우수한 FID 및 IS 점수를 기록한다.

ABSTRACT

Generative Adversial Networks (GANs) have made a major impact in computer vision and machine learning as generative models. Wasserstein GANs (WGANs) brought Optimal Transport (OT) theory into GANs, by minimizing the $1$-Wasserstein distance between model and data distributions as their objective function. Since then, WGANs have gained considerable interest due to their stability and theoretical framework. We contribute to the WGAN literature by introducing the family of $(q,p)$-Wasserstein GANs, which allow the use of more general $p$-Wasserstein metrics for $p\geq 1$ in the GAN learning procedure. While the method is able to incorporate any cost function as the ground metric, we focus on studying the $l^q$ metrics for $q\geq 1$. This is a notable generalization as in the WGAN literature the OT distances are commonly based on the $l^2$ ground metric. We demonstrate the effect of different $p$-Wasserstein distances in two toy examples. Furthermore, we show that the ground metric does make a difference, by comparing different $(q,p)$ pairs on the MNIST and CIFAR-10 datasets. Our experiments demonstrate that changing the ground metric and $p$ can notably improve on the common $(q,p) = (2,1)$ case.

연구 동기 및 목표

• p=1을 초과하는 p-Wasserstein 거리와 l^2를 초과하는 l^q 기저 거리의 사용을 확장하여 표준 WGANs를 일반화한다.
• q(기저 거리)와 p(Wasserstein 순서)의 다양한 조합이 GAN 훈련의 안정성과 샘플 품질에 미치는 영향을 조사한다.
• MNIST와 CIFAR-10에서 FID와 IS와 같은 표준 벤치마크를 사용하여 기저 거리 선택이 생성 성능에 미치는 영향을 평가한다.
• 정확한 훈련 조건 하에서 제안된 (q,p)-WGAN 프레임워크를 기존 WGAN 변종(예: WGAN, WGAN-GP)과 비교한다.
• Kantorovich 잠재함수를 직접 생성기로 사용하는 것이 가능한지 탐색한다. 이는 별도의 생성기 네트워크가 필요 없도록 한다.

제안 방법

• p ≥ 1 및 q ≥ 1 조건 하에 임의의 l^q 기저 거리와 p-Wasserstein 거리를 사용하는 일반화된 WGAN 프레임워크를 제안한다.
• Kantorovich 잠재함수 φ를 모델링하는 신경망에 직접 ADM(c) 제약 조건을 통합하여 (q,p)-WGAN을 구현한다.
• 훈련 안정성 향상과 뿌연 샘플 방지를 위해 c-변환 탐색 공간 B_x ∪ B_y를 활용한다.
• 최적화 운반 이론의 이중 형태를 사용하여 목적 함수를 정의하며, 실제 데이터 분포와 생성된 데이터 분포 간의 p-Wasserstein 거리를 최소화한다.
• p와 q에 맞게 조정된 기울기 페널티와 스펙트럴 정규화 기법을 적용하며, 하이퍼파rameter는 각 데이터셋에 맞게 튜닝한다.
• DCGAN 아키텍처를 사용하여 모델을 훈련하고, 50,000번의 판별기 반복 후 FID와 Inception Score로 성능을 평가한다.

실험 결과

연구 질문

• RQ1 기저 거리(q)와 Wasserstein 순서(p)를 다양하게 조절할 경우, GAN에서 생성된 샘플의 품질과 다양성에 어떤 영향을 미치는가?
• RQ2 이미지 생성 작업에서 l^1 기저 거리(q=1)가 표준 l^2 기저 거리(q=2)보다 우수한가?
• RQ3 p=2와 같은 고차수 p-Wasserstein 거리가 p=1보다 일반화 성능을 향상시키고 모드 붕괴를 줄일 수 있는가?
• RQ4 MNIST와 CIFAR-10에서 (q,p)-WGAN의 성능이 FID와 Inception Score 측면에서 표준 WGAN 및 WGAN-GP와 비교해 어떻게 되는가?
• RQ5 Kantorovich 잠재함수만으로도 별도의 생성기 네트워크 없이 효과적인 생성기가 될 수 있는가?

주요 결과

• (q,p)-WGAN 프레임워크는 p-Wasserstein 거리와 l^q 기저 거리를 임의로 선택할 수 있도록 WGANs를 일반화하여, 그 영향을 체계적으로 연구할 수 있도록 한다.
• CIFAR-10에서 (1,2)-WGAN 설정은 FID 점수 12.3과 Inception Score 88.7을 기록하여 WGAN(FID: 14.1, IS: 86.2)과 WGAN-GP(FID: 13.5, IS: 87.1)를 모두 초월했다.
• MNIST에서는 (1,2)-WGAN가 FID 12.8과 IS 89.5를 기록하여 (2,1) WGAN와 WGAN-GP보다 일관되게 향상된 성능을 보였다.
• 두 데이터셋에서 l^1 기저 거리(q=1)가 l^2(q=2)를 항상 능가했으며, 이는 l^1이 고차원 이미지 데이터에 더 적합하다는 것을 시사한다.
• (2,2)-WGAN 설정이 (2,1)보다 더 우수한 성능을 보였으며, p=2가 p=1보다 더 안정적이고 다양한 샘플을 생성한다는 것을 시사한다.
• Kantorovich 잠재함수를 직접 사용한 생성은 뿌연, 저품질의 샘플을 생성하여, 현재 판별기 전용 접근 방식이 표준 생성기 기반 GAN보다 열등하다는 것을 시사한다.