[论文解读] A Consistent Extension of Discrete Optimal Transport Maps for Machine Learning Applications

Lucas de Lara, Alberto González-Sanz+1 more|arXiv (Cornell University)|Feb 17, 2021

Markov Chains and Monte Carlo Methods参考文献 25被引用 4

一句话总结

本文提出了一种统计一致的方法，通过从经验样本中学习运输映射的连续近似，将离散最优传输映射扩展到新的、未见过的数据。该方法确保渐近收敛到真实的连续最优传输映射，从而在公平性感知的机器学习中实现具有理论保证的一致反事实解释。

ABSTRACT

Optimal transport maps define a one-to-one correspondence between probability distributions, and as such have grown popular for machine learning applications. However, these maps are generally defined on empirical observations and cannot be generalized to new samples while preserving asymptotic properties. We extend a novel method to learn a consistent estimator of a continuous optimal transport map from two empirical distributions. The consequences of this work are two-fold: first, it enables to extend the transport plan to new observations without computing again the discrete optimal transport map; second, it provides statistical guarantees to machine learning applications of optimal transport. We illustrate the strength of this approach by deriving a consistent framework for transport-based counterfactual explanations in fairness.

研究动机与目标

• 解决离散最优传输映射的局限性，即仅在训练样本上定义，无法泛化到新数据。
• 从经验分布中开发连续最优传输映射的统计一致估计器。
• 使最优传输在需要泛化的机器学习应用中得以应用，例如反事实解释。
• 为基于最优传输的公平性审计和模型可解释性提供理论保证。

提出的方法

• 该方法将 del Barrio 等人（2020a）的插值框架扩展至构建离散最优传输映射的连续近似。
• 提出一种 T-可接受估计器，在温和正则性条件下，该估计器以概率几乎处处收敛到真实的 Brenier 映射。
• 该方法利用最优传输映射的循环单调性与凸分析，确保一致性。
• 通过凸函数的次微分表示运输映射，并利用控制收敛定理确保收敛性。
• 框架引入了分类器可分性和不连续集测度可忽略的假设，以确保翻转概率的几乎处处收敛。
• 应用连续映射定理与控制收敛定理，证明关键公平性度量（如翻转集与符号向量）的一致性。

实验结果

研究问题

• RQ1 是否可以将离散最优传输映射一致地扩展到新的、未见过的数据点，同时保持其渐近收敛到真实的连续映射？
• RQ2 随着样本量增加，所提出的连续近似是否保持统计一致性？
• RQ3 该一致框架能否应用于推导二元分类器中公平性审计的可靠反事实解释？
• RQ4 在基于最优传输的解释背景下，哪些条件能确保翻转集概率与符号向量的几乎处处收敛？
• RQ5 当使用经验估计时，如何为基于最优传输的公平性度量建立理论保证？

主要发现

• 所提出的方法在样本量增加时，估计的运输映射以概率几乎处处收敛到真实的连续 Brenier 映射。
• 翻转集概率（包括负向和正向翻转集）在连续映射下以概率几乎处处收敛到其真实值。
• 在源测度下不连续集测度为零的条件下，均值符号向量与基于参考的差异度量也以概率几乎处处收敛。
• 该框架确保了公平性度量（如 Δ⁻_diff、Δ⁺_diff、Δ_ref_diff、Δ⁻_sign 与 Δ_ref_sign）的统计一致性。
• 在实际假设下理论保证成立：分类器可分性与不连续集测度可忽略，这些在大多数现实世界的机器学习应用中均满足。
• 该方法实现了无需为每个新样本重新计算运输映射的一致且可泛化的公平性审计反事实解释。