[논문 리뷰] Large-Scale Optimal Transport and Mapping Estimation

Vivien Seguy, Bharath Bhushan Damodaran외 4명|arXiv (Cornell University)|2017. 11. 07.

Traffic Prediction and Management Techniques참고 문헌 35인용 수 79

한 줄 요약

두 단계 프레임워크를 도입하여 분포 간 최적 매핑을 학습한다: (1) 확률적 이중 방법으로 대규모 규제된 OT 계획을 계산하고, (2) 질량 중심 투영으로부터 몽주 맵을 신경망으로 추출하며, 이론적 수렴 보장과 도메인 적응 및 생성 모델링에의 응용을 제공한다.

ABSTRACT

This paper presents a novel two-step approach for the fundamental problem of learning an optimal map from one distribution to another. First, we learn an optimal transport (OT) plan, which can be thought as a one-to-many map between the two distributions. To that end, we propose a stochastic dual approach of regularized OT, and show empirically that it scales better than a recent related approach when the amount of samples is very large. Second, we estimate a extit{Monge map} as a deep neural network learned by approximating the barycentric projection of the previously-obtained OT plan. This parameterization allows generalization of the mapping outside the support of the input measure. We prove two theoretical stability results of regularized OT which show that our estimations converge to the OT plan and Monge map between the underlying continuous measures. We showcase our proposed approach on two applications: domain adaptation and generative modeling.

연구 동기 및 목표

• 도메인 적응 및 생성 모델링과 같은 응용을 위해 한 분포를 다른 분포로 매핑하는 문제의 동기를 제시한다.
• 먼저 OT 계획을 학습한 뒤 최적의 몽주 맵을 복원하는 확장 가능하고 두 단계의 방법을 개발한다.
• 규제된 OT 계획과 그 질량 중심 투영이 진짜 몽주 맵으로 수렴한다는 이론적 결과를 제시한다(연속 측정들 간의 몽주 맵).
• 메서드를 도메인 적응 및 대규모 생성 모델링 작업에서 시연한다.

제안 방법

• OT를 엔트로피 또는 L2 정규화로 완화하고, 균형 잡힌 목표를 가진 이중형식을 가능하게 한다.
• 확률적 그래디언트 증가를 통해 규제된 OT 이중을 최적화하여 대규모 샘플 크기에 대해 확장 가능하게 한다.
• OT 계획의 질량 중심 투영을 계산하고 이를 신경망으로 매개화하여 입력 지원 밖으로 일반화하는 몽주 맵을 복원한다.
• 정규화된 계획에서 발생하는 H_e 가중치를 이용하여 Y와 f_theta(X) 사이의 가중된 제곱 오차 목표를 최소화하여 매핑을 학습한다.
• 수렴 결과를 증명한다: 엔트로피-규제 계획은 진짜 OT 계획으로 수렴하고; 질량 중심 투영은 기본 연속 측정들에 대해 몽주 맵으로 수렴한다(정리 1 및 2).

실험 결과

연구 질문

• RQ1 매우 대규모의 이산 또는 연속 측정에 대해 최적 운반를 어떻게 효율적으로 계산할 수 있는가?
• RQ2 규제된 OT 계획의 질량 중심 투영을 사용하여 입력 지원 밖으로 일반화하는 몽주 맵을 복원할 수 있는가?
• RQ3 샘플 크기가 증가하고 규제가 소멸할 때 규제된 OT 계획과 그 질량 중심 투영이 진짜 OT 계획과 몽주 맵으로 수렴하는가?
• RQ4 제안된 두 단계 OT 매핑 프레임워크가 도메인 적응 및 생성 모델링 같은 실제 작업에 얼마나 효과적인가?

주요 결과

방법	MNIST → USPS	USPS → MNIST	SVHN → MNIST
Source only	73.47	36.97	54.33
Bar. proj. OT	57.75	52.46	intractable
Bar. proj. OT with Re	68.75	57.35	intractable
Bar. proj. Alg.1 with Re	68.84	57.55	58.87
Bar. proj. Alg.1 with L2	67.80	57.47	60.56
Monge map Alg. 1 + 2 with Re	77.92	60.02	61.11
Monge map Alg. 1 + 2 with L2	72.61	60.50	62.88

• 이중 확률적 OT 알고리즘은 큰 규모의 OT 문제에서 확률적 준-이중 접근법보다 더 빠르게 수렴한다.
• 방법은 MNIST/USPS/SVHN 벤치마크에서 OT 기반 접근법에 비해 도메인 적응 성능을 향상시키며, 몽주 맵 기반 접근법이 더 높은 정확도를 달성한다.
• 정규화 중 엔트로피와 L2 중 어느 것이든 경쟁력 있는 결과를 내며, 몽주 맵 학습(Alg.1+2)이 MNIST→USPS에서 제시된 설정에서 가장 높은 성능(77.92%)을 달성한다.
• 질량 중심 투영은 샘플 크기가 커지고 규제가 소실될수록 기본 연속 측정들 간의 진짜 몽주 맵으로 수렴한다(정리 1–2).
• 코렐러리들은 매핑된 원천 측정이 대상 측정으로 수렴함을 보여 도메인 적응 및 생성 모델링에의 사용을 뒷받침한다.