[论文解读] Minibatch optimal transport distances; analysis and applications

Kilian Fatras, Younes Zine+4 more|arXiv (Cornell University)|Jan 5, 2021

Optimization and Search Problems参考文献 74被引用 17

一句话总结

本文提出了对小批量最优传输（MBOT）距离的理论分析，引入了一种去偏 MBOT 估计器，以恢复标准小批量处理中丢失的关键距离性质。该研究建立了无偏梯度、浓度界限，并在生成对抗网络（GANs）、色彩迁移和网格比较等应用中展示了优越的可扩展性和不变性，运行时间随数据规模线性增长，而非立方增长。

ABSTRACT

Optimal transport distances have become a classic tool to compare probability distributions and have found many applications in machine learning. Yet, despite recent algorithmic developments, their complexity prevents their direct use on large scale datasets. To overcome this challenge, a common workaround is to compute these distances on minibatches i.e. to average the outcome of several smaller optimal transport problems. We propose in this paper an extended analysis of this practice, which effects were previously studied in restricted cases. We first consider a large variety of Optimal Transport kernels. We notably argue that the minibatch strategy comes with appealing properties such as unbiased estimators, gradients and a concentration bound around the expectation, but also with limits: the minibatch OT is not a distance. To recover some of the lost distance axioms, we introduce a debiased minibatch OT function and study its statistical and optimisation properties. Along with this theoretical analysis, we also conduct empirical experiments on gradient flows, generative adversarial networks (GANs) or color transfer that highlight the practical interest of this strategy.

研究动机与目标

• 解决尽管在大规模机器学习中广泛应用，但小批量最优传输（MBOT）仍缺乏理论理解的问题。
• 研究将 MBOT 应用于各种最优传输核（包括 Wasserstein 和 Gromov-Wasserstein）时的统计与优化性质。
• 通过引入一种去偏 MBOT 估计器，克服标准 MBOT 无法满足距离基本公理的根本限制，恢复如可分性等关键性质。
• 建立 MBOT 估计器与其期望之间偏差的非渐近界限，确保统计可靠性。
• 在生成对抗网络训练、梯度流、色彩迁移和网格比较等多样化应用中，验证 MBOT 及其去偏变体的实际效用。

提出的方法

• 通过无放回抽样定义 MBOT 的正式框架，使估计器的统计分析更加严谨。
• 提出一种去偏 MBOT 函数，校正标准小批量平均中的偏差，恢复距离的可分性。
• 建立 MBOT 估计器的浓度界限，表明随着小批量数量增加，估计器收敛至真实期望的最优传输距离。
• 证明 MBOT 损失的梯度是无偏的，从而支持深度学习中稳定的小批量优化。
• 使用 Python 最优传输（POT）工具箱实现并评估该方法，在合成数据集和真实世界数据集上进行实验。
• 将 MBOT 和去偏 MBOT 应用于梯度流、生成对抗网络（GANs）、色彩迁移以及网格上的 Gromov-Wasserstein，以验证其实际性能。

实验结果

研究问题

• RQ1 不同的采样策略（有放回/无放回）如何影响小批量最优传输估计器的统计性质？
• RQ2 为何标准小批量 OT 不满足距离公理，且能否加以纠正？
• RQ3 小批量 OT 估计器的统计收敛性质如何，能否建立非渐近偏差界限？
• RQ4 小批量 OT 损失是否支持无偏梯度，以实现深度学习中的稳定随机优化？
• RQ5 在生成对抗网络（GANs）和网格分析等真实应用中，所提出的去偏 MBOT 与标准 OT 及其他基线方法相比性能如何？

主要发现

• 标准小批量 OT 估计器并非一个正规距离，因其损失了可分性公理，但仍是期望 OT 距离的无偏估计器。
• 所提出的去偏 MBOT 函数恢复了可分性性质，使其成为有效的类距离度量，同时保持计算效率。
• 小批量 OT 估计器在其期望周围表现出浓度界限，偏差随小批量数量增加而减小。
• 小批量 OT 损失的梯度是无偏的，支持在生成对抗网络（GANs）等随机优化设置中的稳定训练。
• 实验表明，小批量 Gromov-Wasserstein（MBGW）损失在数据规模上实现线性运行时间增长，在 10⁴ 点数据集上相比完整 GW 速度提升达 100 倍。
• 在实际应用中，MBGW 损失具有旋转不变性，如色彩迁移和螺旋旋转实验所示，其损失在不同角度下保持恒定。