[논문 리뷰] Do Neural Optimal Transport Solvers Work? A Continuous Wasserstein-2 Benchmark

Alexander Korotin, Lingxiao Li외 4명|arXiv (Cornell University)|2021. 06. 03.

Advanced Neuroimaging Techniques and Applications참고 문헌 38인용 수 10

한 줄 요약

이 논문은 입력-볼록 신경망(ICNNs)을 사용하여 분석적으로 알려진 최적 운반 맵을 갖는 연속 확률 측도 쌍을 생성하는 연속적인 워셔스타인-2 기준을 도입한다. 이를 통해 신경 최적 운반 해법의 엄밀한 평가가 가능해지며, 이미지 생성에서 뛰어난 성능을 보이는 많은 해법들이 실제 운반 맵을 정확히 복원하지 못함을 드러내며, 최적 운반 정확도와 생성 품질 사이에 중요한 괴리가 있음을 보여준다.

ABSTRACT

Despite the recent popularity of neural network-based solvers for optimal transport (OT), there is no standard quantitative way to evaluate their performance. In this paper, we address this issue for quadratic-cost transport -- specifically, computation of the Wasserstein-2 distance, a commonly-used formulation of optimal transport in machine learning. To overcome the challenge of computing ground truth transport maps between continuous measures needed to assess these solvers, we use input-convex neural networks (ICNN) to construct pairs of measures whose ground truth OT maps can be obtained analytically. This strategy yields pairs of continuous benchmark measures in high-dimensional spaces such as spaces of images. We thoroughly evaluate existing optimal transport solvers using these benchmark measures. Even though these solvers perform well in downstream tasks, many do not faithfully recover optimal transport maps. To investigate the cause of this discrepancy, we further test the solvers in a setting of image generation. Our study reveals crucial limitations of existing solvers and shows that increased OT accuracy does not necessarily correlate to better results downstream.

연구 동기 및 목표

• 연속적이고 고차원적인 환경에서 신경 최적 운반 해법에 대한 표준화된 정량적 평가의 부족을 해결하기 위해.
• 제곱비용 최적 운반(Wasserstein-2)을 위한 분석적으로 알려진 최적 운반 맵을 갖는 연속 확률 측도 쌍을 구축하기 위해.
• 고차원 공간, 특히 이미지 분포에서 기존 OT 해법이 진정한 운반 맵을 얼마나 정확히 복원하는지 평가하기 위해.
• 최적 운반 해법의 정확도와 생성 모델링에서의 최종 성능 사이의 관계를 조사하기 위해.
• GAN 및 기타 응용 분야에서 강력한 경험적 성능을 보이는 바에도 불구하고 현재 해법의 한계를 드러내기 위해.

제안 방법

• 주어진 측도에 대해 최적 운반 맵을 생성하는 그라디언트를 갖는 운반 맵을 입력-볼록 신경망(ICNNs)으로 매개변수화하기 위해.
• ICNN의 그라디언트를 통해 기본 측도를 변형하여 연속적인 확률 측도를 구성함으로써 최적 운반 맵의 분석적 취급 가능성을 확보하기 위해.
• ICNN의 그라디언트가 해당 제곱비용 최적 운반 문제에 대해 최적 운반 맵을 제공하므로, 정확한 참값 계산이 가능하다는 사실을 활용하기 위해.
• 64×64 CelebA 얼굴 이미지 포함한 고차원 공간에서의 벤치마크 데이터셋을 이 구성 방식을 통해 생성하기 위해.
• GAN 기반 이미지 생성 설정에서의 성능과 함께 운반 맵 복원 작업에 대해 해법을 평가하여 최적 운반 정확도와 최종 성능를 비교하기 위해.
• MM 및 MM:R과 같은 비대칭 해법을 고려한 세 개의 루프로 구성된 스토하스틱 최소-최대-최소 최적화 프레임워크를 사용하여 GAN을 훈련시키기 위해.

실험 결과

연구 질문

• RQ1 신경 최적 운반 해법은 연속적이고 고차원적인 환경에서 참값 최적 운반 맵을 정확히 복원할 수 있는가?
• RQ2 향상된 워셔스타인-2 거리 추정은 얼마나 더 나은 생성 모델링 성능과 관련이 있는가?
• RQ3 왜 일부 최적 운반 맵 복원 능력이 열악한 해법들이 GAN에서 강력한 생성 결과를 내는가?
• RQ4 그라디언트 이탈과 서포트 불일치가 이미지 생성에서 최적 운반 해법의 성능에 어떤 영향을 미치는가?
• RQ5 제안된 ICNN 기반 벤치마크는 다른 비용 함수나 측도 유형으로 일반화될 수 있는가?

주요 결과

• 많은 인기 있는 신경 OT 해법들이 낮은 차원 환경에서도 실제 최적 운반 맵을 복원하는 데 상당한 오차를 보이며, 단순 기준선과 유사한 성능을 보인다.
• ICNN 기반 매개변수화 방식이 가장 정확한 해법을 제공하며, ICNN 기반 W2 해법이 참값 운반 맵에 가장 높은 정밀도를 보였다.
• 정확한 맵 복원에도 불구하고 W2 해법은 최첨단 생성 성능을 달성하지 못했으며, 이는 최적 운반 정확도와 최종 품질 사이에 괴리가 있음을 시사한다.
• 최대-최소 공식을 사용하는 MM 및 MM:R 해법은 그라디언트 이탈과 불안정한 훈련으로 인해 흐릿한 이미지를 생성하지만, MM:R은 뒤집힌 아키텍처로 이 문제를 개선한다.
• QC 해법의 피팅된 운반 맵은 이미지 품질을 크게 향상시켜 W2 해법과 유사한 결과를 내며, 이는 맵의 정밀도가 해법의 정확도가 떨어지는 경우에도 생성 품질 향상에 기여할 수 있음을 시사한다.
• 벤치마크는 최적 운반 정확도 향상이 반드시 더 나은 생성 성능로 이어지지 않음을 드러내며, GAN에서 최적 운반의 역할에 대한 기존 가정을 도전한다.