[논문 리뷰] Wasserstein Divergence for GANs

Jiqing Wu, Zhiwu Huang외 3명|arXiv (Cornell University)|2017. 12. 04.

Generative Adversarial Networks and Image Synthesis인용 수 5

한 줄 요약

이 논문은 전통적인 워샤르스타인 GANs(WGANs)에서 요구하는 엄격한 k-립시츠 조건을 완화하는 새로운 워샤르스타인 발산(W-div)을 제안한다. 이는 더 안정적인 훈련을 가능하게 한다. 이 방법은 W-div를 목적함수로 사용하는 GAN 프레임워크인 WGAN-div를 도입하며, 셀레바-에이치큐 및 LSUN 데이터셋에서 프로그레시브 그로잉 훈련을 통해 이미지 합성에서 최신 기준 성능을 달성한다. 이는 FID 점수와 시각적 품질 모두에서 향상된 결과를 보인다.

ABSTRACT

In many domains of computer vision, generative adversarial networks (GANs) have achieved great success, among which the family of Wasserstein GANs (WGANs) is considered to be state-of-the-art due to the theoretical contributions and competitive qualitative performance. However, it is very challenging to approximate the $k$-Lipschitz constraint required by the Wasserstein-1 metric~(W-met). In this paper, we propose a novel Wasserstein divergence~(W-div), which is a relaxed version of W-met and does not require the $k$-Lipschitz constraint. As a concrete application, we introduce a Wasserstein divergence objective for GANs~(WGAN-div), which can faithfully approximate W-div through optimization. Under various settings, including progressive growing training, we demonstrate the stability of the proposed WGAN-div owing to its theoretical and practical advantages over WGANs. Also, we study the quantitative and visual performance of WGAN-div on standard image synthesis benchmarks of computer vision, showing the superior performance of WGAN-div compared to the state-of-the-art methods.

연구 동기 및 목표

• 판별자에 대한 엄격한 k-립시츠 조건으로 인해 발생하는 WGAN 훈련의 불안정성 문제를 해결한다.
• 워샤르스타인 거리의 이론적 이점을 유지하면서도 실용적으로 최적화 가능한 완화된 발산 측정법을 개발한다.
• 프로그레시브 그로잉을 통해 고해상도 이미지 생성에서 향상된 훈련 안정성과 성능을 입증한다.
• 이론적으로 탄탄한 대칭 발산을 제공하여 GAN 훈련에서 최적화를 통해 정확한 근사가 가능하게 한다.

제안 방법

• 실제 및 가짜 데이터 분포 간 기대값의 차이에 대한 C¹ 함수에 대한 하한값으로 정의된 새로운 발산 측정법인 워샤르스타인 발산(W-div)을 제안한다. 이는 기울기 노름에 대한 페널티 항을 포함한다.
• 비율 매개변수 k로 스케일링된 비율 함수의 기울기의 Lp 노름을 포함하는 페널티 항을 도입하여, 엄격한 1-립시츠 조건 없이도 부드러움을 보장한다.
• W-div를 사용하여 WGAN-div 목적함수를 최소화하는 판별자 훈련을 위한 최소-최대 최적화 문제로 공식화한다.
• 기울기 페널티 항을 추정하기 위해 실제 및 가짜 데이터 포인트 사이를 선형으로 보간하는 샘플링 전략을 사용하여 효과적인 최적화를 보장한다.
• 256×256와 같은 고해상도 이미지를 생성하기 위해 프로그레시브 그로잉 훈련 체계 내에서 WGAN-div 프레임워크를 적용한다.
• Pu의 보간 분포에 대한 다양한 샘플링 전략에 대해 메서드의 강인성을 실증적으로 검증한다.

실험 결과

연구 질문

• RQ1 워샤르스타인 거리의 이론적 이점을 유지하면서도 엄격한 k-립시츠 조건이 필요 없는 완화된 발산 측정법을 설계할 수 있는가?
• RQ2 제안된 W-div는 기존 WGANs보다 GAN에서 더 안정적인 훈련 역학을 유도하는가?
• RQ3 특히 프로그레시브 그로잉 훈련 하에서 WGAN-div는 고해상도 이미지 합성에서 어떻게 성능을 발휘하는가?
• RQ4 Pu의 보간 분포에 대한 샘플링 전략의 선택이 WGAN-div의 최종 성능에 얼마나 큰 영향을 미치는가?
• RQ5 WGAN-div는 표준 이미지 생성 벤치마크에서 최신 기준의 정량적 및 정성적 결과를 달성할 수 있는가?

주요 결과

• 샘플링 전략 (1)을 사용할 때, WGAN-div는 셀레바-에이치큐에서 FID 점수 14.9를 기록하여, 모든 테스트 전략에서 WGAN-GP(17.0)와 CTGAN(17.5)를 모두 초월한다.
• 셀레바-에이치큐 및 LSUN에서의 시각적 결과는 WGAN-div가 PGGAN과 WGAN-GP보다 더 선명하고 다양성이 높은 샘플을 생성하는 것으로 나타났다.
• Pu에 대한 다양한 샘플링 전략에 걸쳐 일관된 우수성을 보이며, 보간 선택에 대한 민감도가 낮고 강인함을 입증한다.
• 프로그레시브 그로잉 훈련에서 WGAN-div는 안정적인 훈련 역학을 유지하며, 개선된 FID 점수를 기록한 256×256 고해상도 이미지를 생성한다.
• 이론적 분석을 통해 W-div는 대칭적이며, 실질적 및 가짜 분포가 동일할 때에만 0이 되며, 이는 그 적합성을 검증한다.
• 제안된 W-div는 분포가 다를 경우 비양수이며 엄격히 음수임을 증명하여 의미 있는 최적화 신호를 보장한다.