[논문 리뷰] Kantorovich Strikes Back! Wasserstein GANs are not Optimal Transport?

Alexander Korotin, A. K. Kolesov외 1명|arXiv (Cornell University)|2022. 06. 15.

Generative Adversarial Networks and Image Synthesis인용 수 4

한 줄 요약

이 논문은 최적 운반(OT) 거리, 특히 1-워샤르슈타인 거리(W₁)와 그 기울기의 추정에 있어 다양한 워샤르슈타인 GAN 이중 해법기의 성능을 평가한다. 알려진 진정한 캄토로비치 잠재함수를 갖는 새로운 벤치마크를 사용하여, 대부분의 해법기가 긍정적인余弦 유사도를 보이며 기울기를 회복하나, 고차원에서는 W₁를 정확히 추정하지 못함을 보여준다. 특히 DOT는 유사도가 차원 수에 따라 지수적으로 증가하여 W₁를 과도하게 추정하여 정밀한 OT 추정기로서의 사용을 약화시킨다. 이는 GAN 훈련에서의 유용성에도 불구하고 그렇다.

ABSTRACT

Wasserstein Generative Adversarial Networks (WGANs) are the popular generative models built on the theory of Optimal Transport (OT) and the Kantorovich duality. Despite the success of WGANs, it is still unclear how well the underlying OT dual solvers approximate the OT cost (Wasserstein-1 distance, $\mathbb{W}_{1}$) and the OT gradient needed to update the generator. In this paper, we address these questions. We construct 1-Lipschitz functions and use them to build ray monotone transport plans. This strategy yields pairs of continuous benchmark distributions with the analytically known OT plan, OT cost and OT gradient in high-dimensional spaces such as spaces of images. We thoroughly evaluate popular WGAN dual form solvers (gradient penalty, spectral normalization, entropic regularization, etc.) using these benchmark pairs. Even though these solvers perform well in WGANs, none of them faithfully compute $\mathbb{W}_{1}$ in high dimensions. Nevertheless, many provide a meaningful approximation of the OT gradient. These observations suggest that these solvers should not be treated as good estimators of $\mathbb{W}_{1}$, but to some extent they indeed can be used in variational problems requiring the minimization of $\mathbb{W}_{1}$.

연구 동기 및 목표

• 고차원 및 이미지 데이터 설정에서 최적 운반(OT)의 이중 해법기를 평가하기 위한 벤치마크를 개발하기 위해.
• WGAN 이중 해법기가 1-워샤르슈타인 거리(W₁)와 그 기울기를 얼마나 정확히 추정하는지 평가하기 위해.
• 고차원 공간에서 알려진 한계가 있음에도 불구하고 신뢰할 수 있는 OT 비용과 기울기 추정을 제공하는 해법기를 특정하기 위해.
• 이러한 해법기의 생성 모델링, 특히 워샤르슈타인 GAN에서의 실용적 유용성을 평가하기 위해.
• 알려진 진정한 OT 잠재함수를 사용하여 향후 OT 및 WGAN 연구를 위한 재현 가능하고 투명한 벤치마크를 구축하기 위해.

제안 방법

• MinFunnels를 사용하여 알려진 진정한 최적 캄토로비치 잠재함수를 갖는 고차원 및 이미지 기반의 연속 분포 쌍을 구성한다.
• 캄토로비치 이중성 공식을 활용하여 지정된 W₁ 및 ∇f*를 갖는 [-1.1, 1.1]^D 상의 분포 쌍(P, Q)을 생성한다.
• 12개의 WGAN 이중 해법기(GP, LP, SN, SO, LS, MM, DOT 등)를 대상으로 W₁ 및 기울기 ∇f*의 추정 능력을 평가한다.
• 세 가지 지표를 사용하여 성능을 측정한다: 추정된 기울기와 진정한 기울기 간의 여론 유사도(cos), 기울기 오차의 L² 노름, W₁ 추정 정확도.
• 잠재함수와 이동자에 DCGAN 및 UNet 아키텍처를 사용하며, 가능할 경우 스펙트럴 정규화, GroupSort, 직교 제약 조건을 적용한다.
• 고정된 초모수를 갖는 Adam 옵timizer를 사용하고, 테스트 여론 유사도가 수렴할 때까지 훈련하여 안정적인 평가를 확보한다.

실험 결과

연구 질문

• RQ1 WGAN 이중 해법기는 고차원 및 이미지 기반 분포에서 1-워샤르슈타인 거리(W₁)를 얼마나 정확히 추정하는가?
• RQ2 이러한 해법기는 진정한 최적 운반 기울기를 얼마나 잘 복원하는가? 진정한 값과의 여론 유사도로 측정한다.
• RQ3 왜 일부 해법기, 예를 들어 DOT는 저차원에서는 작동하지만 고차원에서는 실패하는가?
• RQ4 W₁ 추정 능력이 열악한 해법기들도 워샤르슈타인 GAN 훈련에서 여전히 효과적일 수 있는가?
• RQ5 아키텍처 선택(예: DCGAN 대 UNet, 정규화 기법 등)은 OT 추정 정확도에 어떤 영향을 미치는가?

주요 결과

• DOT는 유사도가 차원 수에 따라 지수적으로 증가함에 따라 고차원에서 W₁를 과도하게 추정한다. 이는 정확한 W₁ 추정을 어렵게 하며, 이는 기울기 정렬은 양호하나 W₁ 추정 능력은 열악함을 의미한다.
• DOT는 고차원에서 cos ≈ 0을 보이며, 이는 기울기가 진정한 기울기와 거의 수직임을 나타내지만, WGAN에서 사용됨에도 불구하고 이는 문제가 된다.
• MM:R는 L² 기울기 오차가 가장 낮고(여론 유사도 > 0.9), 이미지에서 정확한 W₁ 추정을 달성하여 두 지표 모두에서 다른 해법기들을 능가한다.
• MM:Bv2는 W₁ 추정은 합리적이지만 여론 유사도 ≈ 0이고 L² 오차가 높아, 기울기 복원 능력은 열악함에도 불구하고 W₁ 추정은 양호한 편이다.
• GP, LP, MM:R는 이미지에서 여론 유사도 > 0.9를 달성하여 강력한 기울기 정렬을 보이나, 기울기 오차의 L² 노름이 정확한 추정을 제공하는 것은 MM:R만이 가능하다.
• WC와 SN은 중간 수준의 여론 유사도 > 0를 보이나 최상위 성능 해법기들에 비해 유의미하게 낮아 고차원에서 기울기 복원 능력이 열악함을 시사한다.