[논문 리뷰] The Cramer Distance as a Solution to Biased Wasserstein Gradients

Marc G. Bellemare, Ivo Danihelka외 5명|arXiv (Cornell University)|2017. 05. 30.

Geometric Analysis and Curvature Flows참고 문헌 30인용 수 252

한 줄 요약

본 논문은 Wasserstein 손실을 이용한 SGD가 편향된 그래디언트를 가지며 잘못된 최소점으로 수렴할 수 있음을 보이고, 편향되지 않고 기하학을 고려하는 대안으로 Cramér 거리를 도입하며, Cramér GAN을 제시한다.

ABSTRACT

The Wasserstein probability metric has received much attention from the machine learning community. Unlike the Kullback-Leibler divergence, which strictly measures change in probability, the Wasserstein metric reflects the underlying geometry between outcomes. The value of being sensitive to this geometry has been demonstrated, among others, in ordinal regression and generative modelling. In this paper we describe three natural properties of probability divergences that reflect requirements from machine learning: sum invariance, scale sensitivity, and unbiased sample gradients. The Wasserstein metric possesses the first two properties but, unlike the Kullback-Leibler divergence, does not possess the third. We provide empirical evidence suggesting that this is a serious issue in practice. Leveraging insights from probabilistic forecasting we propose an alternative to the Wasserstein metric, the Cramér distance. We show that the Cramér distance possesses all three desired properties, combining the best of the Wasserstein and Kullback-Leibler divergences. To illustrate the relevance of the Cramér distance in practice we design a new algorithm, the Cramér Generative Adversarial Network (GAN), and show that it performs significantly better than the related Wasserstein GAN.

연구 동기 및 목표

• 기하학을 존중하면서도 신뢰할 수 있는 최적화를 가능하게 하는 발산의 필요성을 동기화한다.
• 샘플에서 추정될 때 Wasserstein 그래디언트가 왜 편향되는지 진단한다.
• 편향되지 않은 샘플 그래디언트를 갖는 이상적 발산으로서 Cramér 거리를 도입한다.
• ordinal regression 및 GAN 실험을 통해 Cramér 거리의 실용적 이점을 입증한다.

제안 방법

• KL, Wasserstein, Cramér 거리를 규모 민감도(scale sensitivity), 합 불변성(sum invariance), 편향되지 않은 샘플 그래디언트 측면에서 정의하고 비교한다.
• KL은 편향되지 않은 그래디언트를 가지지만 규모에 민감하지 않다는 것을 증명하고, 반면 Wasserstein은 이상적이지만 편향되지 않은 그래디언트(U)가 부족함을 보인다.
• Bernoulli 설정에서 이론적 결과(Theorem 1)로 Wasserstein 그래디언트가 편향되었음을 보인다.
• Cramér 거리를 도입하고 이는 규모 불변성(S), 합 불변성(I), 편향되지 않은 그래디언트(U)를 만족함을 증명한다(Theorem 2).
• 학습된 h로 변수 변환을 통해 에너지-거리 스타일 손실을 사용하고 그래디언트 페널티가 있는 비판자를 둔 Cramér GAN을 제안한다.
• ordinal regression 및 이미지 생성에서 Cramér GAN을 Wasserstein GANs와 비교하는 실험을 제공한다.

실험 결과

연구 질문

• RQ1 SGD로 최적화될 때 Wasserstein 그래디언트가 편향되지 않은 샘플 그래디언트를 갖는가?
• RQ2 Cramér 거리는 기하학적 민감도를 유지하면서 편향되지 않은 그래디언트를 제공하는가?
• RQ3 ordinal regression 및 GAN과 같은 실용 학습 과제에서 Cramér 거리가 Wasserstein 또는 KL 기반 방법과 비교하여 어떻게 성능을 발휘하는가?

주요 결과

• 샘플 Wasserstein 손실은 편향된 그래디언트 추정치를 산출하고 잘못된 최소점으로 수렴할 수 있다(Theorem 1).
• Cramér 거리는 편향되지 않은 샘플 그래디언트를 가지며 기하학 정보를 보존한다(Theorem 2).
• ordinal regression에서 Cramér 거리를 최소화하면 Wasserstein나 KL 베이스라인보다 RMSE가 더 좋고 Wasserstein 손실이 더 낮다.
• Cramér GAN은 WGAN-GP보다 더 다양한 이미지 보정과 더 안정적인 학습을 생성하며 독립적 비판기 간의 거리가 더 좋다.
• 제안된 프레임워크는 ML 애플리케이션에서 Wasserstein에 비해 Cramér 거리를 사용하는 실용적 이점을 보여준다.