[논문 리뷰] Primal-Dual Wasserstein GAN

Mevlana Gemici, Zeynep Akata외 1명|arXiv (Cornell University)|2018. 05. 24.

Medical Imaging Techniques and Applications참고 문헌 13인용 수 11

한 줄 요약

이 논문은 생성 모델링 프레임워크인 프리멀-듀얼 워샤르스타인 GAN(PD-WGAN)을 제안한다. 이는 유연한 추론 메커니즘 학습을 위한 프리멀 최적 운반 문제와 비판자 네트워크의 적대적 훈련을 위한 듀얼 공식화를 통합한다. 프리멀에서 유도된 근사 결합을 사용해 비판자의 기울기의 노름과 방향을 정규화함으로써, PD-WGAN은 기존의 WGAN-GP와 WAE-GAN에 비해 CIFAR-10, CUB Birds, Oxford Flowers 데이터셋에서 FID 및 Inception 점수 측면에서 뛰어난 모드 커버리지와 샘플 품질을 달성한다.

ABSTRACT

We introduce Primal-Dual Wasserstein GAN, a new learning algorithm for building latent variable models of the data distribution based on the primal and the dual formulations of the optimal transport (OT) problem. We utilize the primal formulation to learn a flexible inference mechanism and to create an optimal approximate coupling between the data distribution and the generative model. In order to learn the generative model, we use the dual formulation and train the decoder adversarially through a critic network that is regularized by the approximate coupling obtained from the primal. Unlike previous methods that violate various properties of the optimal critic, we regularize the norm and the direction of the gradients of the critic function. Our model shares many of the desirable properties of auto-encoding models in terms of mode coverage and latent structure, while avoiding their undesirable averaging properties, e.g. their inability to capture sharp visual features when modeling real images. We compare our algorithm with several other generative modeling techniques that utilize Wasserstein distances on Frechet Inception Distance (FID) and Inception Scores (IS).

연구 동기 및 목표

• 후행 근사와 평균화 효과로 인한 뿌연 샘플 문제를 해결하기 위해, 오토인코딩과 GAN 기반 학습의 장점을 융합한다.
• 표준 GAN의 불안정성과 이론적 기반 부족 문제를 최적 운반 프레임워크를 활용해 해결한다.
• 최적 운반의 프리멀 및 듀얼 공식화를 통해 동시에 고품질의 생성 모델과 정확한 추론 메커니즘을 학습하는 통합 훈련 알고리즘을 개발한다.
• 프리멀 문제에서 유도된 근사 결합을 사용해 비판자 네트워크의 기울기 방향과 노름을 정규화함으로써 샘플 품질과 모드 커버리지를 향상시킨다.

제안 방법

• 프리멀 최적 운반 공식화를 사용해 데이터 분포와 생성자 분포 사이의 근사 결합 π̃*를 학습하며, 이는 비판자 네트워크의 가이드 역할을 한다.
• 듀얼 공식화를 사용해 비판자 네트워크의 기울기 노름과 방향을 근사 결합 π̃*에 의해 정규화된 채로 생성자에 대해 적대적으로 훈련한다.
• 하이브리드 손실 함수는 프리멀 결합 기반 복원 손실(λmix)과 비판자 기울기 방향 및 크기의 이탈을 페널티 처리하는 기울기 정규화 손실(λf)을 조합한다.
• 비판자 네트워크는 프리멀 결합 π̃*의 운반 방향과 일치하는 단위 노름 기울기를 강제하는 벡터 기울기 페널티를 사용해 훈련되며, 이는 일반화 및 안정성을 향상시킨다.
• 에코더는 프리멀 결합을 사용해 데이터 포인트를 잠재 코드로 매핑하도록 훈련되며, 정확한 복원과 구조적인 잠재 다각형을 가능하게 한다.
• 모델은 재구성 정밀도, 모드 커버리지, 샘플 품질을 하이퍼파rameter λmix와 λf를 통해 균형 잡는 기울기 가능한 목표 함수를 사용해 엔드 투 엔드로 훈련된다.

실험 결과

연구 질문

• RQ1 프리멀 및 듀얼 최적 운반 공식화를 통합한 프레임워크가 생성 모델링에서 샘플 품질과 모드 커버리지 향상에 기여할 수 있는가?
• RQ2 프리멀 문제에서 유도된 근사 결합을 사용해 비판자 기울기 방향과 노름을 정규화하면, 표준 기울기 노름 페널티보다 더 안정적이고 일반화 가능한 훈련이 가능한가?
• RQ3 제안된 방법이 높은 재구성 정밀도와 구조적인 잠재 공간을 유지하면서도 WGAN-GP와 WAE-GAN에 비해 더 낮은 FID 및 더 높은 Inception 점수를 달성할 수 있는가?
• RQ4 재구성 정밀도(λmix)와 비판자 정규화(λf) 사이의 트레이드오���은 샘플 품질과 모드 커버리지의 균형에 어떤 영향을 미치는가?

주요 결과

• PD-WGAN은 CIFAR-10에서 FID 33.0을 기록하여 WGAN-GP(34.4)와 WAE-GAN(87.7)을 능가하며, 더 뛰어난 샘플 품질을 보였다.
• CIFAR-10에서 PD-WGAN은 Inception 점수 6.70 ± 0.09를 기록하여 WGAN-GP(6.58 ± 0.06)와 WAE-GAN(4.18 ± 0.04)를 초월했다.
• CUB Birds에서 PD-WGAN은 FID 68.6과 Inception 점수 4.65 ± 0.04를 기록하여 WGAN-GP(70.4 및 4.51 ± 0.04)와 WAE-GAN(143.3 및 3.42 ± 0.04)을 능가했다.
• Oxford Flowers에서 PD-WGAN은 FID 84.9와 Inception 점수 3.75 ± 0.04를 기록하여 WGAN-GP(98.7 및 3.42 ± 0.04)와 WAE-GAN(145.9 및 2.30 ± 0.01)보다 뚜렷이 우수했다.
• 부록 F의 시각적 비교에서 PD-WGAN는 WGAN-GP와 WAE-GAN보다 더 선명하고 다양한 샘플을 생성하며, VAE 및 WAE에서 흔히 볼 수 있는 평균화 아티팩트를 피했다.
• PD-WGAN가 학습한 잠재 공간은 WGAN-GP보다 더 우수한 보간 품질과 구조를 보였으며, 더 나은 분리 가능성과 일반화 능력을 나타냈다.