[论文解读] Large-Scale Optimal Transport and Mapping Estimation

Vivien Seguy, Bharath Bhushan Damodaran+4 more|arXiv (Cornell University)|Nov 7, 2017

Traffic Prediction and Management Techniques参考文献 35被引用 79

一句话总结

论文提出一个两步框架，在分布之间学习一个最优映射：（1）通过随机双重方法计算大规模正则化 OT 计划；（2）从重心投影中将 Monge 映射提取为神经网络，并具有理论收敛性保证，及在领域自适应和生成建模中的应用。

ABSTRACT

This paper presents a novel two-step approach for the fundamental problem of learning an optimal map from one distribution to another. First, we learn an optimal transport (OT) plan, which can be thought as a one-to-many map between the two distributions. To that end, we propose a stochastic dual approach of regularized OT, and show empirically that it scales better than a recent related approach when the amount of samples is very large. Second, we estimate a extit{Monge map} as a deep neural network learned by approximating the barycentric projection of the previously-obtained OT plan. This parameterization allows generalization of the mapping outside the support of the input measure. We prove two theoretical stability results of regularized OT which show that our estimations converge to the OT plan and Monge map between the underlying continuous measures. We showcase our proposed approach on two applications: domain adaptation and generative modeling.

研究动机与目标

• 将将一个分布映射到另一个分布的问题动机化，应用于领域自适应和生成建模。
• 开发一个可扩展的两步方法，先学习 OT 计划再恢复最优的 Monge 映射。
• 给出正则化 OT 计划及其重心投影到连续测度之间真正的 Monge 映射的理论收敛性结果。
• 在领域自适应和大规模生成建模任务中展示该方法。

提出的方法

• 使用熵正则化或 L2 正则化来松弛 OT，并使对偶目标具有凹性。
• 通过随机梯度上升优化正则化 OT 对偶，以实现对大样本规模的可扩展性。
• 通过计算 OT 计划的重心投影并用神经网络参数化，恢复一个 Monge 映射，以实现对输入支撑之外的泛化。
• 通过最小化 Y 与 f_theta(X) 之间带有来自正则化计划的 H_e 权重的加权平方误差目标来学习映射。
• 给出收敛性结果：熵正则化计划收敛到真实 OT 计划；重心投影对基础连续测度的 Monge 映射收敛（定理 1 和 2）。

实验结果

研究问题

• RQ1 如何高效地计算非常大规模的离散或连续测度的最优传输？
• RQ2 正则化 OT 计划的重心投影是否可用于恢复在输入支撑之外具有泛化能力的 Monge 映射？
• RQ3 随着样本规模增加且正则化趋于 0，正则化 OT 计划及其重心投影是否收敛到真实的 OT 计划和 Monge 映射？
• RQ4 所提出的两步 OT 映射框架在实际任务如领域自适应和生成建模中的有效性如何？

主要发现

方法	MNIST → USPS	USPS → MNIST	SVHN → MNIST
Source only	73.47	36.97	54.33
Bar. proj. OT	57.75	52.46	intractable
Bar. proj. OT with Re	68.75	57.35	intractable
Bar. proj. Alg.1 with Re	68.84	57.55	58.87
Bar. proj. Alg.1 with L2	67.80	57.47	60.56
Monge map Alg. 1 + 2 with Re	77.92	60.02	61.11
Monge map Alg. 1 + 2 with L2	72.61	60.50	62.88

• 对偶随机 OT 算法在大规模 OT 问题上收敛速度比随机半对偶方法更快。
• 在 MNIST/USPS/SVHN 基准上，该方法在 OT 基础上改进了领域自适应性能，Monge 映射基础的方法获得了更高的准确率。
• 在正则化选项中，熵和 L2 提供了具有竞争力的结果，Monge 映射学习（Alg.1+2）在所报告的设置中对 MNIST→USPS 的表现最佳（77.92%）。
• 随着样本规模的增长且正则化消失，正则化 OT 计划的重心投影收敛到潜在连续测度之间的真实 Monge 映射（定理 1–2）。
• 推论表明映射源测度收敛到目标测度，支持在领域自适应和生成建模中的使用。