[论文解读] Concentration bounds for linear Monge mapping estimation and optimal transport domain adaptation

Rémi Flamary, Karim Lounici+1 more|arXiv (Cornell University)|May 24, 2019

Bone and Joint Diseases参考文献 54被引用 7

一句话总结

本文建立了线性 Monge 映射估计的首个浓度界限，通过经验一阶与二阶矩证明了样本复杂度为 $n^{-1/2}$。该结果被应用于基于最优传输的域自适应，表明在温和的协方差条件下，该方法可逼近贝叶斯最优性能，并在分布平稳时通过快速傅里叶变换（FFT）实现高效计算。

ABSTRACT

This article investigates the quality of the estimator of the linear Monge mapping between distributions. We provide the first concentration result on the linear mapping operator and prove a sample complexity of $n^{-1/2}$ when using empirical estimates of first and second order moments. This result is then used to derive a generalization bound for domain adaptation with optimal transport. As a consequence, this method approaches the performance of theoretical Bayes predictor under mild conditions on the covariance structure of the problem. We also discuss the computational complexity of the linear mapping estimation and show that when the source and target are stationary the mapping is a convolution that can be estimated very efficiently using fast Fourier transforms. Numerical experiments reproduce the behavior of the proven bounds on simulated and real data for mapping estimation and domain adaptation on images.

研究动机与目标

• 解决从有限样本估计线性 Monge 映射在最优传输中缺乏理论保证的问题。
• 通过推导泛化界限，为最优传输域自适应提供统计基础。
• 通过利用平稳性将映射估计简化为卷积，从而提升计算效率，实现快速傅里叶变换（FFT）计算。
• 证明在结构假设下，线性 Monge 映射估计可实现参数化的 $n^{-1/2}$ 收敛速率，避免维度灾难。
• 在模拟和真实图像数据（包括带运动模糊的 MNIST）上对理论结果进行实证验证。

提出的方法

• 推导基于源分布和目标分布经验矩估计的线性 Monge 映射算子的浓度不等式。
• 利用浓度界限建立最优传输域自适应的泛化误差界限，将映射估计误差与分类器性能关联。
• 提出一种基于经验均值与协方差矩阵的线性 Monge 映射估计器，确保在温和矩条件下的一致性。
• 利用源分布与目标分布的平稳性，将映射重新表述为卷积形式，从而通过快速傅里叶变换实现高效估计。
• 在图像域自适应任务中实现并评估该方法，包括在合成运动模糊下的 MNIST 数据，使用卷积神经网络（CNN）进行分类。
• 与基线方法进行性能比较：仅使用源数据、仅使用目标数据，以及采用线性与卷积映射的 OTDA 方法。

实验结果

研究问题

• RQ1 当从有限样本估计时，线性 Monge 映射估计器的统计收敛速率是多少？
• RQ2 在协方差结构的温和结构假设下，最优传输域自适应能否实现接近贝叶斯预测器的性能？
• RQ3 线性 Monge 映射估计的计算复杂度如何变化？在平稳性条件下是否可被加速？
• RQ4 与线性情况相比，卷积 Monge 映射在多大程度上提升了域自适应性能？
• RQ5 理论浓度界限在真实世界和模拟数据上是否在实践中成立？

主要发现

• 本文建立了线性 Monge 映射算子的首个浓度界限，证明了从经验一阶与二阶矩估计时样本复杂度为 $n^{-1/2}$。
• 在协方差结构满足温和条件时，采用线性 Monge 映射的最优传输域自适应可实现逼近贝叶斯风险的泛化误差。
• 当源分布与目标分布平稳时，线性 Monge 映射退化为卷积形式，从而可通过快速傅里叶变换实现高效估计。
• 在带运动模糊的 MNIST 上的数值实验表明，卷积 Monge 映射在足够样本下可达到直接在目标数据上训练的分类器性能。
• 线性 Monge 映射需要更多样本（$n \geq 10^3$）才能达到可比性能，但仍收敛至贝叶斯最优误差率。
• 所提方法在实证中与理论界限高度一致，如在模拟与真实数据上的映射误差与分类误差曲线所示。