[논문 리뷰] How Well Do WGANs Estimate the Wasserstein Metric?

Anton Mallasto, Guido Montúfar외 1명|arXiv (Cornell University)|2019. 10. 09.

Generative Adversarial Networks and Image Synthesis참고 문헌 26인용 수 17

한 줄 요약

이 논문은 다양한 WGAN 변종이 이중 공식을 사용하여 1-워샤르슈타인 거리 추정의 정확도를 평가한다. 특히, 명시적 리프시츠 제약 조건을 피하는 c-변환과 (c,ε)-변환을 중심으로 다룬다. 이러한 방법들은 기울기 보상 또는 가중치 클리핑보다 훨씬 더 정확한 워샤르슈타인 거리 추정을 제공하지만, 그에 비해 더 흐릿하고 현실감이 떨어지는 생성 이미지를 만들어내어, 실질적으로 거리 측정 정확도와 생성 품질 간의 괴리가 있음을 드러낸다.

ABSTRACT

Generative modelling is often cast as minimizing a similarity measure between a data distribution and a model distribution. Recently, a popular choice for the similarity measure has been the Wasserstein metric, which can be expressed in the Kantorovich duality formulation as the optimum difference of the expected values of a potential function under the real data distribution and the model hypothesis. In practice, the potential is approximated with a neural network and is called the discriminator. Duality constraints on the function class of the discriminator are enforced approximately, and the expectations are estimated from samples. This gives at least three sources of errors: the approximated discriminator and constraints, the estimation of the expectation value, and the optimization required to find the optimal potential. In this work, we study how well the methods, that are used in generative adversarial networks to approximate the Wasserstein metric, perform. We consider, in particular, the $c$-transform formulation, which eliminates the need to enforce the constraints explicitly. We demonstrate that the $c$-transform allows for a more accurate estimation of the true Wasserstein metric from samples, but surprisingly, does not perform the best in the generative setting.

연구 동기 및 목표

• 데이터 분포와 모델 분포 사이의 1-워샤르슈타인 거리 추정 정확도를 다양한 WGAN 방법으로 평가하는 것.
• 더 정확한 워샤르슈타인 메트릭 추정이 실질적으로 더 나은 생성 이미지 품질을 이끌어내는지 조사하는 것.
• 기울기 보상, 가중치 클리핑, c-변환, (c,ε)-변환의 성능을 다양한 훈련 및 평가 조건에서 비교하는 것.
• 배치 크기와 훈련 체계가 거리 추정 안정성과 생성 모델 성능에 미치는 영향을 분석하는 것.

제안 방법

• c-변환 공식을 사용하여 디스criminator에 대한 명시적 리프시츠 제약 조건을 부과하지 않고도 워샤르슈타인 거리를 추정한다.
• (c,ε)-변환은 c-변환에 엔트로피 정규화를 적용하여 샘플 복잡도와 수치적 안정성을 향상시킨다.
• 기울기 보상, 가중치 클리핑, c-변환, (c,ε)-변환의 네 가지 WGAN 훈련 체계를 비교하며, 미니배치 및 전체 데이터셋 평가를 모두 활용한다.
• 거리 추정 정확도는 POT 라이브러리를 사용해 계산된 기준 워샤르슈타인 거리와 디스criminator 출력을 비교하여 측정한다.
• 생성 모델 훈련은 CelebA 데이터셋을 사용하여 DCGAN 아키텍처로 수행되며, 50,000번의 생성자 반복 동안 거리 메트릭을 추적한다.
• 일부 CIFAR-10과 CelebA의 서브셋을 대상으로 다양한 배치 크기(N=64, 512)로 실험하여 일반화성과 안정성을 평가한다.

실험 결과

연구 질문

• RQ1 다양한 WGAN 변종은 데이터 분포와 모델 분포 사이의 진정한 1-워샤르슈타인 거리를 얼마나 정확하게 추정하는가?
• RQ2 향상된 워샤르슈타인 메트릭 추정이 실질적으로 더 나은 품질의 생성 이미지를 만들어내는가?
• RQ3 c-변환과 (c,ε)-변환은 기울기 보상과 가중치 클리핑에 비해 거리 추정 정확도와 훈련 안정성 측면에서 어떻게 비교되는가?
• RQ4 훈련 배치 크기와 평가 배치 크기가 워샤르슈타인 거리 추정의 신뢰성에 어떤 영향을 미치는가?
• RQ5 기울기 보상 방법은 거리 추정 정확도가 열 劣함에도 불구하고 왜 더 우수한 생성 결과를 낳는가?

주요 결과

• c-변환과 (c,ε)-변환 방법은 기울기 보상 및 가중치 클리핑에 비해 진정한 워샤르슈타인 거리 추정에서 훨씬 더 정확한 결과를 제공한다.
• 더 나은 메트릭 추정에도 불구하고, c-변환과 (c,ε)-변환은 기울기 보상 방법보다 더 흐릿하고 현실감이 떨어지는 이미지를 생성한다.
• 기울기 보상 방법은 워샤르슈타인 거리 추정 정확도가 열 劣하지만, 더 높은 품질, 더 높은 다양성, 더 선명한 이미지를 생성한다.
• 가중치 클리핑은 수렴이 안정적으로 이루어지지 않으며, 거리 추정 정확도는 어느 정도 유지되지만 이미지 품질은 열 劣하다.
• (c,ε)-변환은 다양한 훈련 및 평가 배치 크기에서 안정성이 향상되어 더 유리한 샘플 복잡도를 보여준다.
• c-변환 방법에서 관찰된 흐릿함은 엔트로피 정규화 때문이 아니라 c-변환 공식 자체의 특성 때문임이 확인되었다.