[论文解读] Learning with minibatch Wasserstein : asymptotic and gradient properties

Kilian Fatras, Younes Zine+3 more|arXiv (Cornell University)|Oct 9, 2019

Generative Adversarial Networks and Image Synthesis参考文献 33被引用 17

一句话总结

本文分析了小批量Wasserstein训练，表明其能提供无偏梯度和浓度界，从而在大规模学习中实现稳定优化。尽管失去了真实距离的性质，但其在减少内存使用和GAN、梯度流、色彩迁移等任务中表现出色，通过在多个任务中控制批量大小和批次数量，实证验证了其有效性。

ABSTRACT

Optimal transport distances are powerful tools to compare probability distributions and have found many applications in machine learning. Yet their algorithmic complexity prevents their direct use on large scale datasets. To overcome this challenge, practitioners compute these distances on minibatches {\em i.e.} they average the outcome of several smaller optimal transport problems. We propose in this paper an analysis of this practice, which effects are not well understood so far. We notably argue that it is equivalent to an implicit regularization of the original problem, with appealing properties such as unbiased estimators, gradients and a concentration bound around the expectation, but also with defects such as loss of distance property. Along with this theoretical analysis, we also conduct empirical experiments on gradient flows, GANs or color transfer that highlight the practical interest of this strategy.

研究动机与目标

• 理解小批量最优传输在大规模机器学习中广泛应用但理解不足的理论性质。
• 分析小批量OT是否保留了诸如无偏性和浓度等理想的统计与优化性质。
• 评估在实际应用中计算效率与距离度量性质损失之间的权衡。
• 展示小批量OT在真实任务（如GAN训练、梯度流和色彩迁移）中的有效性。

提出的方法

• 将小批量最优传输形式化为在数据随机子集上对多个小规模最优传输问题进行平均。
• 推导小批量估计器的渐近性质，证明其在期望下收敛于真实OT距离。
• 建立一个与数据维度无关的小批量损失浓度界，确保稳定性。
• 证明小批量损失的梯度是无偏的，从而支持其在SGD-based优化中的使用。
• 提出一种用于barycentric映射的增量算法，避免存储完整的代价矩阵和传输矩阵，从而降低内存使用。
• 使用geomloss包和自定义实现，在2D分布、CelebA和色彩迁移任务上评估性能。

实验结果

研究问题

• RQ1 小批量最优传输是否能提供真实最优传输距离的无偏估计？
• RQ2 小批量OT估计器的渐近行为如何？能否推导出与数据维度无关的浓度界？
• RQ3 小批量OT损失的梯度是否无偏，从而支持其在SGD-based优化中的使用？
• RQ4 在GAN和色彩迁移等实际应用中，批次数量和批量大小如何影响性能？
• RQ5 小批量策略在降低计算成本的同时，能在多大程度上保持分布结构？

主要发现

• 小批量OT估计器渐近无偏，并在真实OT距离附近集中，其浓度界与数据维度无关。
• 小批量OT损失的梯度是无偏的，支持其在深度模型训练的随机梯度下降中的使用。
• 增加批次数量 $k$ 可降低方差，并在小批量大小 $m$ 较小时提升色彩迁移中的图像分辨率。
• 当 $m=10$ 时，$k=5000$ 不足以获得良好分辨率，但 $k=5000$ 且 $m=1000$ 时可实现高质量结果，凸显了批量大小的重要性。
• 小批量OT在梯度流和GAN中表现良好，大批次大小可实现精确的分布匹配和平滑过渡。
• 用于色彩迁移的增量算法避免了完整矩阵存储，使大规模数据集上的可扩展barycentric映射成为可能。