[论文解读] Empirical optimal transport on countable metric spaces: Distributional limits and statistical applications

Carla Tameling, Max Sommerfeld+1 more|arXiv (Cornell University)|Jul 4, 2017

Machine Learning and Algorithms被引用 5

一句话总结

本文通过敏感性分析和非线性导数的 delta 方法，建立了在可数度量空间上经验最优传输距离的分布极限。它提供了经验 Wasserstein 距离弱收敛的必要且充分条件，并推导出超度量空间的显式极限分布，从而在高维设置（如具有漂移校正验证的纳米尺度显微镜数据）中实现统计推断。

ABSTRACT

We derive distributional limits for empirical transport distances between probability measures supported on countable sets. Our approach is based on sensitivity analysis of optimal values of infinite dimensional mathematical programs and a delta method for non-linear derivatives. A careful calibration of the norm on the space of probability measures is needed in order to combine differentiability and weak convergence of the underlying empirical process. Based on this we provide a sufficient and necessary condition for the underlying distribution on the countable metric space for such a distributional limit to hold. We give an explicit form of the limiting distribution for ultra-metric spaces. Finally, we apply our findings to optimal transport based inference in large scale problems. An application to nanoscale microscopy is given.

研究动机与目标

• 在可数度量空间上建立经验 Wasserstein 距离的分布极限，扩展至单变量设置之外。
• 为在高维和大规模问题中使用经验最优传输进行统计推断，开发一个框架。
• 通过在时间序列显微成像中评估漂移校正的应用，验证该方法。
• 为检测细微空间位移的阈值化 Wasserstein 距离提供理论基础。
• 校准概率测度上的范数，以确保不同可微性和经验过程的弱收敛。

提出的方法

• 使用无限维数学规划的敏感性分析，研究在经验测度下最优值扰动的行为。
• 应用非线性导数的 delta 方法，推导经验传输距离的渐近分布。
• 校准概率测度空间上的范数，以平衡不同可微性和经验过程的弱收敛。
• 以可数度量空间上的基础分布为条件，推导出分布极限存在的充分必要条件。
• 通过树逼近方法，为超度量空间提供极限分布的显式形式。
• 利用极限分布的随机上界，构建用于检测经验数据中空间位移的假设检验。

实验结果

研究问题

• RQ1 在何种条件下，经验 Wasserstein 距离在可数度量空间上依分布收敛？
• RQ2 在非独立同分布和高维设置下，经验最优传输距离的极限分布如何表征？
• RQ3 范数校准在确保经验过程的不同可微性和弱收敛中起什么作用？
• RQ4 如何利用阈值化 Wasserstein 距离检测大规模成像数据中的细微空间位移？
• RQ5 极限分布在多大程度上可用于验证时间序列显微镜中漂移校正方法的有效性？

主要发现

• 本文建立了在可数度量空间上经验 Wasserstein 距离分布极限存在的必要且充分条件。
• 对于超度量空间，通过树逼近方法显式表征了极限分布，从而支持实际推断。
• 该方法使大规模成像数据中空间差异的统计检验成为可能，例如检测纳米尺度显微镜中的漂移。
• 在显微镜应用中，阈值化 Wasserstein 距离在漂移校正前对阈值 t > 4/256 显示显著差异（p ≤ 0.05），而校正后对 t < 14/256 的差异消失。
• 校正后大阈值（t ≥ 14/256）仍存在残余显著性，表明存在超出全局漂移模型的未建模局部运动或光漂白效应。
• 该方法通过显示小尺度上显著的空间位移在漂移校正后被消除，成功验证了显微镜中漂移校正的有效性。