[论文解读] Large-scale optimal transport map estimation using projection pursuit

Cheng Meng, Ke Yuan+4 more|arXiv (Cornell University)|Jun 9, 2021

Target Tracking and Data Fusion in Sensor Networks被引用 13

一句话总结

本文提出投影追踪蒙日映射（PPMM），一种用于大规模最优传输映射（OTM）估计的新方法，通过自适应选择信息量丰富的投影方向，而非使用随机投影。结合投影追踪回归与充分降维技术，PPMM 确保了对最相关信息方向的一致估计，并在合理步数内实现对真实 OTM 的弱收敛，显著提升了现有基于随机投影方法的收敛速度与稳定性。

ABSTRACT

This paper studies the estimation of large-scale optimal transport maps (OTM), which is a well-known challenging problem owing to the curse of dimensionality. Existing literature approximates the large-scale OTM by a series of one-dimensional OTM problems through iterative random projection. Such methods, however, suffer from slow or none convergence in practice due to the nature of randomly selected projection directions. Instead, we propose an estimation method of large-scale OTM by combining the idea of projection pursuit regression and sufficient dimension reduction. The proposed method, named projection pursuit Monge map (PPMM), adaptively selects the most ``informative'' projection direction in each iteration. We theoretically show the proposed dimension reduction method can consistently estimate the most ``informative'' projection direction in each iteration. Furthermore, the PPMM algorithm weakly convergences to the target large-scale OTM in a reasonable number of steps. Empirically, PPMM is computationally easy and converges fast. We assess its finite sample performance through the applications of Wasserstein distance estimation and generative models.

研究动机与目标

• 解决现有基于随机投影的大规模最优传输映射（OTM）估计方法存在的收敛缓慢或不收敛问题。
• 开发一种在每次迭代中自适应选择最具“信息量”投影方向的方法，以提升收敛性与估计精度。
• 理论上保证对主导投影方向的一致估计，以及算法对真实 OTM 的弱收敛性。
• 提供一种计算高效的替代方案，尤其适用于高维场景下的传统 OTM 估计。
• 通过 Wasserstein 距离估计与生成建模等应用验证该方法的有效性。

提出的方法

• 提出投影追踪蒙日映射（PPMM）算法，通过投影追踪回归迭代估计最信息量丰富的投影方向，逐步构建 OTM。
• 利用充分降维技术识别每轮迭代中能最大化信息增益的最优投影方向。
• 采用相对增益指数 $ \gamma^{[k]} = \lambda_k / \lambda_0 $ 衡量迭代过程中方向选择的改进程度。
• 通过沿选定方向执行一维 OTM 估计，自适应地更新传输映射，逐步构建全局映射。
• 理论分析表明，SAVE 协方差矩阵的估计主导特征值一致收敛至真实值，确保了可靠的方向选择。
• 在正则性条件下，证明了 PPMM 算法对真实 OTM 的弱收敛性，且当 $ d \to \infty $ 且 $ k \geq Cd $（$ C > 0 $）时收敛性得以保证。

实验结果

研究问题

• RQ1 与随机投影方法相比，自适应选择投影方向是否能提升大规模 OTM 估计中的收敛性与稳定性？
• RQ2 所提出的 PPMM 方法是否能在每次迭代中一致估计出最具信息量的投影方向？
• RQ3 PPMM 算法对真实最优传输映射的理论收敛行为如何？
• RQ4 在计算效率与有限样本精度方面，PPMM 与现有基于投影的方法相比表现如何？
• RQ5 PPMM 是否能有效应用于 Wasserstein 距离估计与生成建模等实际任务？

主要发现

• 在正则性条件下，PPMM 实现了对真实最优传输映射的弱收敛，且当维度 $ d \to \infty $ 且迭代次数 $ k \geq Cd $（$ C > 0 $）时收敛性得以保证。
• 该方法确保了 SAVE 协方差矩阵主导特征值的一致估计，对应于每轮迭代中最信息量的投影方向。
• 理论分析表明 $ \|\widehat{\bm{\xi}}_1 - \bm{\xi}_1\|_{\infty} = O_p\left(r^4\sqrt{\frac{\log d}{n}} + r^4\sqrt{d}\frac{\log d}{n}\right) $，表明方向估计具有收敛性。
• 实证结果表明，PPMM 比基于随机投影的方法收敛更快且更可靠，后者常面临收敛缓慢或不收敛的问题。
• 在 Wasserstein 距离估计与生成建模任务中，PPMM 展现出优异的有限样本性能，优于基线的基于投影的方法。
• 该算法计算高效且可扩展，将计算负担从 $ O(n^3 \log n) $ 降低至 $ O(Kn \log n) $，其中 $ K $ 为迭代次数。