[논문 리뷰] Adversarial Computation of Optimal Transport Maps

Jacob Leygonie, Jennifer She외 3명|arXiv (Cornell University)|2019. 06. 24.

Adversarial Robustness in Machine Learning참고 문헌 32인용 수 15

한 줄 요약

이 논문은 고차원 연속 분포 간 최적 운반 맵을 계산하기 위해 2-워샤르슈타인 거리(2-Wasserstein distance)를 판별기의 목적함수로 사용하는 W2GAN을 제안한다. 유일한 W2-지오데식을 따라 생성기를 훈련시킴으로써, 이론적 보장과 함께 이미지 데이터에서 이전 방법들을 능가하는 최적 운반 맵으로 수렴함을 보장한다.

ABSTRACT

Computing optimal transport maps between high-dimensional and continuous distributions is a challenging problem in optimal transport (OT). Generative adversarial networks (GANs) are powerful generative models which have been successfully applied to learn maps across high-dimensional domains. However, little is known about the nature of the map learned with a GAN objective. To address this problem, we propose a generative adversarial model in which the discriminator's objective is the $2$-Wasserstein metric. We show that during training, our generator follows the $W_2$-geodesic between the initial and the target distributions. As a consequence, it reproduces an optimal map at the end of training. We validate our approach empirically in both low-dimensional and high-dimensional continuous settings, and show that it outperforms prior methods on image data.

연구 동기 및 목표

• 고차원 연속 분포 간 최적 운반 맵을 계산하는 데 도전하는 것.
• 학습된 맵이 운반 이론(Optimal Transport, OT)의 관점에서 진정으로 최적임을 보장함으로써 생성적 적대적 네트워크(GANs)와 최적 운반 이론 간 격차를 메우는 것.
• 이deal 조건 하에서 GAN 생성기의 훈련 동역학을 특성화하고, 그것이 W2-지오데식을 따라 움직임을 보임을 보여주는 것.
• 이론적 결과를 실용적 환경로로 확장하기 위해 이상적인 지오데식 경로에서의 이탈을 제한하는 것.
• 저차원 합성 데이터와 고차원 이미지 데이터에서 방법을 실증적으로 검증하여 경쟁력 있는 성능을 보이는 것.

제안 방법

• 생성기와 목표 분포 간의 2-Wasserstein 거리 $W_2^2(\mu, \nu)$를 계산하는 판별기를 사용하는 GAN 프레임워크인 W2GAN을 제안한다.
• 확률 measures의 공간에서 경량 흐름(gradient flow) 공식을 사용하여, 이상 조건 하에서 생성기가 초기 분포에서 목표 분포로 유일한 $W_2$-지오데식을 따라 진화함을 보여준다.
• 생성기가 항등함수로 시작하고 $[-1,1]^d$로 매핑되도록 보장하기 위해 $G(z) = 2 \cdot H(z) + z$의 재매개변수화(reparameterization)를 적용한다.
• 이중 최적화 기법을 구현하여, 판별기는 $W_2^2(\mu_\theta, P_x)$를 근사하도록 훈련하고, 생성기는 이 목적함수에 대해 경량 하강법으로 업데이트된다.
• 판별기와 생성기가 완벽하게 훈련되지 않았거나 용량 제한이 있을 경우의 이상적인 $W_2$-지오데식 경로에서의 이탈을 정량화하기 위해 이론적 경계를 적용한다.
• ADAM 최적화기와 학습률 $\sim 10^{-4}$, $\beta_1=0.5$, $\beta_2=0.999$를 사용하며, 이미지 실험에서는 배치 크기 64로 최대 100,000 반복 동안 훈련한다.

실험 결과

연구 질문

• RQ1 2-Wasserstein 판별기 목적함수를 갖는 GAN을 훈련시킬 경우, 생성기가 초기 분포와 목표 분포 사이의 $W_2$-지오데식을 따라 움직이는가?
• RQ2 이deal 훈련 조건 하에서 수렴 시 생성기가 최적 운반 맵을 복원할 수 있는가?
• RQ3 유한한 용량과 완벽하지 않은 훈련 조건이 존재하는 실용적 환경에서 생성기의 궤적은 이상적인 $W_2$-지오데식에서 얼마나 이탈하는가?
• RQ4 W2GAN은 고차원 이미지 데이터에서 기존 방법보다 최적 운반 맵을 학습하는 데에서 뛰어난 성능을 보이는가?
• RQ5 생성기의 진화와 $W_2^2$-거리의 경량 흐름 사이의 이론적 관계는 무엇인가?

주요 결과

• 이deal 조건—완벽하게 훈련된 판별기와 무한 용량의 생성기—하에서 생성기는 초기 분포에서 목표 분포로 유일한 $W_2$-지오데식을 따라 진화하며, 이는 $\mu_t = [e^{-t}\mathcal{I} + (1-e^{-t})T]\# \mu_0$로 수식화된다.
• 생성기는 지수적으로 빠르게 목표 분포로 수렴하며, $W_2^2(\mu_t, P_x) = e^{-2t} W_2^2(\mu_0, P_x)$를 만족한다.
• 수렴 시 생성기는 초기 분포와 목표 분포 사이의 최적 운반 맵을 생성한다.
• 저차원 합성 데이터에서의 실증 결과는 훈련 중 생성된 분포가 $W_2$-지오데식 경로를 따라 움직임을 확인한다.
• 고차원 이미지 데이터(MNIST, USPS 등)에서 W2GAN은 Barycentric-OT 및 표준 GAN과 같은 기존 방법들을 능가하는 맵 품질과 충실도를 보이며 경쟁적인 성능을 나타낸다.
• 이론적 경계는 실용적 환경에서 생성기 궤적의 이상적인 $W_2$-지오데식 경로에서의 이탈이 판별기의 근사 오차와 생성기 용량에 의해 제어됨을 보여준다.