[논문 리뷰] Banach Wasserstein GAN

Jonas Adler, Sebastian Lunz|arXiv (Cornell University)|2018. 06. 18.

Geophysical Methods and Applications참고 문헌 17인용 수 33

한 줄 요약

이 논문은 기울기 보정을 갖춘 WGAN의 일반화인 바나흐 워샤프스키 GAN(BWGAN)을 소개한다. 이는 표준 ℓ² 노름을 임의의 쌍대 노름으로 대체하여 특정 이미지 특징을 강조하는 임의의 분리 가능한 바나흐 공간으로 일반화한다. L¹⁰ 노름을 사용할 때 CIFAR-10에서 최고 성능을 기록한 상태의 인ception 스코어(8.31 ± 0.07)를 달성하여, 노름 선택이 ℓ²를 초월해 생성 성능에 상당한 영향을 미친다는 것을 입증한다.

ABSTRACT

Wasserstein Generative Adversarial Networks (WGANs) can be used to generate realistic samples from complicated image distributions. The Wasserstein metric used in WGANs is based on a notion of distance between individual images, which induces a notion of distance between probability distributions of images. So far the community has considered $\ell^2$ as the underlying distance. We generalize the theory of WGAN with gradient penalty to Banach spaces, allowing practitioners to select the features to emphasize in the generator. We further discuss the effect of some particular choices of underlying norms, focusing on Sobolev norms. Finally, we demonstrate a boost in performance for an appropriate choice of norm on CIFAR-10 and CelebA.

연구 동기 및 목표

• ℓ² 노름을 초월해 일반 바나흐 공간으로 기울기 보정이 있는 WGAN을 일반화하기 위해.
• 사용자들이 에지나 대규모 구조와 같은 특정 이미지 특징을 강조할 수 있도록 노름을 선택할 수 있도록 하기 위해.
• 비-ℓ² 설정에서 정규화 파rameter 선택을 위한 이론적 및 실용적 지침을 제공하기 위해.
• CIFAR-10 및 CelebA와 같은 표준 벤치마크에서 노름 선택이 GAN 성능에 미치는 영향을 경험적으로 검증하기 위해.
• 비-ℓ² 노름이 비진행적 GAN에서 최고 성능을 달성할 수 있음을 보여주기 위해.

제안 방법

• 기울기 보정 항에서 ℓ² 노름을 쌍대 노름으로 대체함으로써, 임의의 분리 가능한 바나흐 공간으로 WGAN에 기울기 보정을 일반화한다.
• 비판자 기울기의 쌍대 노름을 바탕으로 이론적 기울기 보정 조건을 유도하여 1-립시츠 제약 조건을 보장한다.
• 칸토로비치-루브라틴 쌍대성을 사용하여 선택된 바나흐 공간 위에서 유계 리프시츠 함수의 관점에서 워샤프스키 거리를 표현한다.
• 생성된 이미지의 특징 강조를 제어하기 위해 소볼레프 노름 W^{s,p}와 L^p 공간을 구체적인 노름 선택으로 활용한다.
• 최소한의 아키텍처 변경으로 방법을 구현한다: 기울기 보정에서 노름만 대체되며, 표준 WGAN 학습 다이내믹스를 유지한다.
• 쌍대 노름과 원하는 특징 강조를 바탕으로 정규화 파rameter 선택을 위한 히우리스틱을 제공한다.

실험 결과

연구 질문

• RQ1 기울기 보정이 있는 WGAN을 ℓ² 노름을 초월해 임의의 바나흐 공간으로 일반화할 수 있는가?
• RQ2 기본 노름의 선택이 GAN에서 생성된 이미지의 품질과 특성에 어떤 영향을 미치는가?
• RQ3 Sobolev 또는 L^p 노름을 ℓ² 대신 사용할 경우 GAN 학습에 이론적 및 실용적 의미는 무엇인가?
• RQ4 비-ℓ² 노름이 CIFAR-10 및 CelebA와 같은 표준 벤치마크에서 최고 성능을 달성할 수 있는가?
• RQ5 다양한 노름 선택은 이미지 생성에서 FID 및 인ception 스코어와 어떻게 상관관계가 있는가?

주요 결과

• BWGAN는 L¹⁰ 노름을 사용하여 CIFAR-10에서 8.31 ± 0.07의 인ception 스코어를 기록하였으며, 이는 비진행적 성장 GAN에서 최고 성능이다.
• CIFAR-10에서 L⁴ 노름은 FID 스코어 16.43을 기록하여 경쟁 가능한 성능을 보였다.
• 소볼레프 공간 W^{s,2}의 경우, CIFAR-10에서 최적의 성능은 음수 s 값에서 달성되며, 이는 저주파수 콘텐츠 강조를 의미한다.
• CelebA에서 FID 스코어는 s가 -1에서 0 사이이고 p ≈ 0일 때 최고이며, p = 10은 학습 불안정성을 유발한다.
• 동일한 생성자 아키텍처를 사용할 때조차도 표준 WGAN보다 성능이 향상됨을 보여주며, 더 나은 하이퍼파ram터 튜닝의 가능성을 시사한다.
• 결과는 노름 선택이 이미지 품질과 특징 강조에 상당한 영향을 미치는 강력한, 그러나 아직 충분히 활용되지 않은 GAN 설계의 자유도임을 시사한다.