[论文解读] Minimax estimation of discontinuous optimal transport maps: The semi-discrete case

Aram-Alexandre Pooladian, Vincent Divol+1 more|arXiv (Cornell University)|Jan 26, 2023

Markov Chains and Monte Carlo Methods被引用 5

一句话总结

该论文提出了一种在半离散设置下对不连续最优传输映射的极小极大最优估计器，其中目标测度为离散测度。通过使用熵正则化最优传输，作者建立了与维度无关的收敛速率 $ n^{-1/2} $，克服了维度灾难以及先前方法在有限样本下的局限性，即使在传输映射不连续的情况下也成立。

ABSTRACT

We consider the problem of estimating the optimal transport map between two probability distributions, $P$ and $Q$ in $\mathbb R^d$, on the basis of i.i.d. samples. All existing statistical analyses of this problem require the assumption that the transport map is Lipschitz, a strong requirement that, in particular, excludes any examples where the transport map is discontinuous. As a first step towards developing estimation procedures for discontinuous maps, we consider the important special case where the data distribution $Q$ is a discrete measure supported on a finite number of points in $\mathbb R^d$. We study a computationally efficient estimator initially proposed by Pooladian and Niles-Weed (2021), based on entropic optimal transport, and show in the semi-discrete setting that it converges at the minimax-optimal rate $n^{-1/2}$, independent of dimension. Other standard map estimation techniques both lack finite-sample guarantees in this setting and provably suffer from the curse of dimensionality. We confirm these results in numerical experiments, and provide experiments for other settings, not covered by our theory, which indicate that the entropic estimator is a promising methodology for other discontinuous transport map estimation problems.

研究动机与目标

• 解决当传输映射不连续时的统计估计问题，该情况被先前理论所排除，因前者要求满足利普希茨或光滑性假设。
• 分析在目标测度为有限个点上的离散分布的半离散设置下，基于熵正则化最优传输的估计器的有限样本性能。
• 在最小正则性假设下，建立估计器收敛速率的极小极大最优性，且与维度无关。
• 证明标准估计器如 1-NN 受到维度灾难的影响，并在此设置下缺乏有限样本保证。
• 为熵正则化最优传输在不连续传输映射估计中的使用提供理论依据，并通过数值实验验证其在理论范围之外的鲁棒性。

提出的方法

• 提出一种基于熵正则化最优传输的计算高效估计器，该方法最初由 [58] 提出，并在 [55] 中分析，现被适配至半离散情形。
• 在源测度 $ P $ 和目标原子 $ y_j $ 的温和正则性条件下，建立在 $ L^2(P) $-范数下的收敛速率 $ n^{-1/2} $，且与维度 $ d $ 无关。
• 使用基于覆盖集和体积估计的几何论证，下界估计熵正则化估计器中正确分配的概率，利用集中不等式。
• 应用杨不等式，并通过熵积分界控制经验过程，以管理经验测度近似中的随机误差。
• 采用基于 $ \chi^2 $-散度的测度变换论证，控制经验目标测度与真实离散测度之间的偏差。
• 通过几何分离和体积比较论证，构造一个估计器可能正确的区域 $ S $，从而推导出 $ n^{-1/2} $ 的收敛速率。

Figure 1: An illustration of a semi-discrete optimal transport map. The support of $P$ , the whole rectangle, is partitioned into regions, each of which is transported to one of the atoms of the discrete target measure $Q$ . The resulting map is discontinuous at the boundaries of each cell.

实验结果

研究问题

• RQ1 在半离散设置下，是否可以设计一种计算高效的估计器，实现对不连续最优传输映射的极小极大最优收敛？
• RQ2 当最优传输映射不连续时，熵正则化最优传输估计器是否仍能保持有限样本的统计保证？
• RQ3 在半离散情形下，估计不连续传输映射的最优收敛速率是多少？该速率是否与维度无关？
• RQ4 与 1-NN 等经典方法相比，熵正则化估计器在统计效率和对维度的鲁棒性方面表现如何？
• RQ5 熵正则化最优传输的理论保证能否从光滑映射扩展至包含半离散设置下的不连续映射？

主要发现

• 熵正则化最优传输估计器在半离散设置下，于 $ L^2(P) $-范数中实现了与维度 $ d $ 无关的极小极大最优收敛速率 $ n^{-1/2} $。
• 即使最优传输映射不连续，该速率 $ n^{-1/2} $ 依然成立，这使得先前依赖于光滑性假设的估计器失效。
• 1-最近邻估计器受到维度灾难的影响，其收敛速率为 $ n^{-2/d} $，当 $ d > 4 $ 时迅速恶化，且在此情形下缺乏有限样本保证。
• 理论分析证实，熵正则化估计器对不连续性具有鲁棒性，并保持统计效率，数值实验进一步验证了其在理论假设范围之外的鲁棒性。
• $ \chi^2 $-散度的期望为 $ \frac{J-1}{n} $，用于控制经验过程中的估计误差。
• 通过构造一个体积满足 $ \gtrsim n^{-1/d} $ 的集合 $ S $，可确保估计器以高概率正确分配点，从而推导出 $ n^{-1/2} $ 的收敛速率。

Figure 2: Left: $\hat{T}_{\varepsilon}$ versus $\hat{T}_{\text{1NN}}$ for $J=2$ and $d=10$ . Right: $\hat{T}_{\varepsilon}$ versus $\hat{T}_{\text{1NN}}$ for $J=10$ and $d=50$ .