[논문 리뷰] On Scalable and Efficient Computation of Large Scale Optimal Transport

Yujia Xie, Minshuo Chen외 3명|arXiv (Cornell University)|2019. 05. 01.

Model Reduction and Neural Networks참고 문헌 55인용 수 7

한 줄 요약

이 논문은 깊이 있는 생성 모델링 프레임워크인 SPOT(Scalable Push-forward of Optimal Transport)를 제안한다. 이는 은닉 생성 모델과 원시-이중 확률적 최적화를 사용하여 최적 운반 문제를 최소화-최대화 문제로 공식화한다. 이는 효율적인 최적 운반 계획과 연합 밀도의 계산을 가능하게 하며, 신경 미분방정식을 통해 실현되며, 기존 방법보다 훨씬 더 빠른 수렴 속도를 보이며 도메인 적응에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Optimal Transport (OT) naturally arises in many machine learning applications, yet the heavy computational burden limits its wide-spread uses. To address the scalability issue, we propose an implicit generative learning-based framework called SPOT (Scalable Push-forward of Optimal Transport). Specifically, we approximate the optimal transport plan by a pushforward of a reference distribution, and cast the optimal transport problem into a minimax problem. We then can solve OT problems efficiently using primal dual stochastic gradient-type algorithms. We also show that we can recover the density of the optimal transport plan using neural ordinary differential equations. Numerical experiments on both synthetic and real datasets illustrate that SPOT is robust and has favorable convergence behavior. SPOT also allows us to efficiently sample from the optimal transport plan, which benefits downstream applications such as domain adaptation.

연구 동기 및 목표

• 고차원 설정에서 대규모 최적 운반의 계산 불가능성 문제를 해결하기 위해.
• 도메인 적응과 같은 후속 응용을 위한 최적 운반 계획과 연합 밀도의 효율적 계산을 가능하게 하기 위해.
• 기존의 확률적 알고리즘들이 운반 계획을 계산하지 못하고 워셔스타인 거리만 계산하는 한계를 극복하기 위해.
• 깊이 있는 생성 모델과 신경 미분방정식을 활용하여 은닉적이고 확장 가능하며 미분 가능한 운반 매핑을 구현하기 위해.
• 고품질 샘플링을 유지하면서 최적 운반 계획에서의 효율적 샘플링을 지원하는 프레임워크를 개발하기 위해.

제안 방법

• 잠재 변수 Z ∼ ρ에서의 푸시포워드 맵 G(Z) = [GX(Z), GY(Z)]를 통해 최적 운반 계획 γ*를 근사화하기 위해.
• 최적 운반 문제를 제약 조건이 있는 최소화 문제로 공식화하기 위해: E[c(GX(Z), GY(Z))]를 최소화하면서 GX(Z) ∼ μ 및 GY(Z) ∼ ν를 만족시키기 위해.
• 신경망으로 근사된 이중 변수를 사용한 라그랑주 리 릿지화를 통해 문제를 최소화-최대화 최적화 문제로 변환하기 위해.
• 확장성과 효율성을 확보하기 위해, 결과적으로 생겨나는 최소화-최대화 문제를 원시-이중 확률적 경사 하강 알고리즘으로 해결하기 위해.
• 잠재 공간에서의 연속적 변환을 모델링하기 위해 신경 미분방정식을 사용하여 최적 운반 계획의 연합 밀도를 복원하기 위해.
• 공동 잠재 공간과 이중 판별자 구조를 사용하여 도메인 적응에 DASPOT를 통합하기 위해.

실험 결과

연구 질문

• RQ1 깊이 있는 생성 모델을 사용하여 고차원 연속 분포에 대해 최적 운반 계획을 효율적으로 계산할 수 있는가?
• RQ2 신경망으로 근사된 이중 변수를 사용한 최소화-최대화 공식화가 확장 가능하고 미분 가능한 최적 운반 계산을 가능하게 하는가?
• RQ3 푸시포워드 맵을 통한 은닉 생성 모델링이 최적 운반 계획의 고품질 샘플링과 밀도 추정을 가능하게 하는가?
• RQ4 제안된 프레임워크가 기존의 최적 운반 기반 도메인 적응 방법보다 정확도와 학습 효율성 측면에서 뛰어나게 성능을 냅니다.
• RQ5 신경 미분방정식은 잠재 변수 변환으로부터 최적 운반 계획의 연합 밀도를 얼마나 정확하게 복원할 수 있는가?

주요 결과

• DASPOT는 MNIST → USPS 도메인 적응 작업에서 97.5%의 정확도를 달성하여, DeepJDOT(95.7%)와 StochJDOT(93.6%)를 능가했다.
• SPOT는 MNIST → USPS에서 95% 정확도를 달성하는 데에 169초의 학습 시간을 기록하여, DeepJDOT의 518초보다 훨씬 더 효율적인 성능을 보였다.
• 이 프레임워크는 Photo-Monet 및 Edges-Shoes 데이터셋에서 고품질의 쌍체 이미지를 성공적으로 생성하여 의미적 및 구조적 대응을 유지했다.
• 신경 미분방정식은 잠재 푸시포워드 맵에서 최적 운반 계획의 연합 밀도를 정확하게 복원하는 데 기여했다.
• 신경망으로 근사된 이중 변수를 사용한 최소화-최대화 공식화는 고차원 설정에서도 안정적이고 확장 가능한 최적화를 가능하게 했다.
• SPOT는 최적 운반 계획에서의 효율적 샘플링을 가능하게 하며, 도메인 적응 및 자원 배분과 같은 실용적 응용에 매우 중요하다.