[论文解读] Low-rank Optimal Transport: Approximation, Statistics and Debiasing

Meyer Scetbon, Marco Cuturi|arXiv (Cornell University)|May 24, 2022

Sparse and Compressive Sensing Techniques被引用 6

一句话总结

该论文通过建立低秩最优传输（LOT）的理论基础，推导出与维度无关的参数化统计误差率 $\mathcal{O}(\sqrt{1/n})$，并提出一种去偏移的LOT变体，该变体可度量弱收敛性，且在最大均值差异（MMD）与最优传输（OT）之间实现插值。该方法实现了线性时间计算，并为大规模机器学习应用中熵正则化提供了一种稳健的替代方案。

ABSTRACT

The matching principles behind optimal transport (OT) play an increasingly important role in machine learning, a trend which can be observed when OT is used to disambiguate datasets in applications (e.g. single-cell genomics) or used to improve more complex methods (e.g. balanced attention in transformers or self-supervised learning). To scale to more challenging problems, there is a growing consensus that OT requires solvers that can operate on millions, not thousands, of points. The low-rank optimal transport (LOT) approach advocated in \cite{scetbon2021lowrank} holds several promises in that regard, and was shown to complement more established entropic regularization approaches, being able to insert itself in more complex pipelines, such as quadratic OT. LOT restricts the search for low-cost couplings to those that have a low-nonnegative rank, yielding linear time algorithms in cases of interest. However, these promises can only be fulfilled if the LOT approach is seen as a legitimate contender to entropic regularization when compared on properties of interest, where the scorecard typically includes theoretical properties (statistical complexity and relation to other methods) or practical aspects (debiasing, hyperparameter tuning, initialization). We target each of these areas in this paper in order to cement the impact of low-rank approaches in computational OT.

研究动机与目标

• 建立低秩最优传输（LOT）作为大规模机器学习中熵正则化可扩展替代方案的理论基础。
• 通过推导估计误差的上界，分析LOT的统计复杂度，获得与维度无关的参数化速率 $\mathcal{O}(\sqrt{1/n})$。
• 提出一种去偏移的LOT变体，其具有非负性、可度量弱收敛性，并在最大均值差异（MMD）与OT之间实现插值。
• 阐明LOT偏差与聚类方法之间的联系，并提供步长与初始化调参的实用策略。

提出的方法

• 推导LOT相对于非负秩参数的收敛速率，以逼近真实OT。
• 提出LOT的插补估计器，并推导出统计误差的上界，其参数化速率为 $\mathcal{O}(\sqrt{1/n})$。
• 引入一种类似于Sinkhorn散度的去偏移LOT散度，确保非负性并实现弱收敛性的度量。
• 建立LOT偏差与聚类近似方法之间的联系，特别是通过传输耦合的低秩分解实现。
• 为LOT中交替最小化算法提出自适应步长与初始化策略，提升收敛鲁棒性。
• 利用矩阵分解将传输耦合表示为子耦合的乘积，当代价矩阵为低秩时，实现线性时间计算。

实验结果

研究问题

• RQ1 随着非负秩的增加，低秩最优传输向真实最优传输解的收敛速率如何变化？
• RQ2 低秩最优传输的插补估计器的统计误差速率是多少？是否依赖于数据维度？
• RQ3 能否构建一种去偏移的低秩最优传输变体，以保持非负性与弱收敛性度量等理想性质？
• RQ4 低秩最优传输中的偏差与聚类方法有何关联？该关系能否被形式化？
• RQ5 哪些实用的步长与初始化策略可提升低秩OT求解器的收敛性与稳定性？

主要发现

• 低秩最优传输插补估计器的统计误差被限制在 $\mathcal{O}(\sqrt{1/n})$ 以内，实现了与数据维度无关的参数化速率。
• 去偏移LOT散度具有非负性，可度量弱收敛性，并在最大均值差异（MMD）与标准最优传输之间实现插值。
• 低秩最优传输的偏差与聚类方法存在形式化关联，其低秩分解诱导了传输计划的隐式聚类结构。
• 自适应步长调度在多种数据分布（包括均匀分布与各向异性高斯混合分布）下，均展现出优于固定步长的收敛鲁棒性。
• 所提出的去偏移LOT变体在梯度流实验中成功恢复了目标分布，而标准LOT则学习到一个有偏的低秩近似。
• 已建立LOT相对于非负秩参数向真实OT收敛的理论速率，验证了其近似质量。