[论文解读] Improving Mini-batch Optimal Transport via Partial Transportation

Khai T. Nguyen, Dang Nguyen+3 more|arXiv (Cornell University)|Aug 22, 2021

Domain Adaptation and Few-Shot Learning参考文献 43被引用 4

一句话总结

本文提出了一种新型框架——小批量部分最优传输（m-POT），通过在小批量经验测度之间利用部分最优传输（POT）来减少错误指定的映射，从而改进小批量最优传输（m-OT）。通过限制传输质量，m-POT在成本矩阵缩放方面表现出更强的鲁棒性，并在深度领域自适应、生成建模和色彩迁移任务中优于m-OT和m-UOT。

ABSTRACT

Mini-batch optimal transport (m-OT) has been widely used recently to deal with the memory issue of OT in large-scale applications. Despite their practicality, m-OT suffers from misspecified mappings, namely, mappings that are optimal on the mini-batch level but are partially wrong in the comparison with the optimal transportation plan between the original measures. Motivated by the misspecified mappings issue, we propose a novel mini-batch method by using partial optimal transport (POT) between mini-batch empirical measures, which we refer to as mini-batch partial optimal transport (m-POT). Leveraging the insight from the partial transportation, we explain the source of misspecified mappings from the m-OT and motivate why limiting the amount of transported masses among mini-batches via POT can alleviate the incorrect mappings. Finally, we carry out extensive experiments on various applications such as deep domain adaptation, partial domain adaptation, deep generative model, color transfer, and gradient flow to demonstrate the favorable performance of m-POT compared to current mini-batch methods.

研究动机与目标

• 解决小批量最优传输（m-OT）中的错误映射问题，即局部小批量解无法反映全局最优传输计划。
• 克服小批量非平衡OT（m-UOT）对成本矩阵缩放的敏感性，后者需要仔细调整超参数。
• 开发一种可扩展、内存高效的框架，保持对下游任务（如领域自适应和色彩迁移）有意义的运输计划。
• 为使用部分最优传输（POT）作为缓解小批量设置下错误映射的自然解决方案，提供理论和实证依据。

提出的方法

• 用小批量经验测度之间的部分最优传输（POT）替代标准的小批量最优传输（m-OT），引入小批量部分最优传输（m-POT）。
• 将m-POT表述为一个约束优化问题，仅传输总质量的分数$ s $，从而减少稀疏小批量中虚假或错误映射的影响。
• 使用熵正则化，通过Sinkhorn算法实现POT的高效计算，确保即使在大规模问题中也具备可计算性。
• 将m-POT集成到深度学习目标中，用于领域自适应和生成建模，将运输成本作为损失函数。
• 在色彩迁移的重心映射中应用m-POT，通过计算源域和目标域颜色分布之间的部分传输计划。
• 在训练过程中动态调整传输质量的比例$ s $，在前2500次迭代中线性增加从0.01到0.325。

实验结果

研究问题

• RQ1 与标准m-OT相比，部分最优传输是否能减少小批量最优传输中的错误映射？
• RQ2 在深度领域自适应和部分领域自适应任务中，m-POT相较于m-OT和m-UOT的表现如何？
• RQ3 m-POT是否对成本矩阵缩放具有鲁棒性，而m-UOT则需要敏感的超参数调优？
• RQ4 m-POT能否为非生成性任务（如色彩迁移）生成有意义的运输计划？
• RQ5 m-POT是否能提升深度生成模型的训练稳定性和性能，如FID分数所示？

主要发现

• m-POT在深度领域自适应任务中达到最先进性能，在Office-Home和VisDA数据集上均优于m-OT和m-UOT。
• 在Office-Home数据集上，m-POT的测试准确率达到85.2%，超过m-OT（83.1%）和m-UOT（84.0%）。
• 在部分领域自适应任务中，m-POT达到82.7%的准确率，显著优于m-OT（79.8%）和m-UOT（81.0%）。
• 在CIFAR10上的生成建模任务中，m-POT将FID分数降低至10.8，而m-OT为12.1，m-UOT为11.5。
• 在CelebA数据集上，m-POT的FID得分为18.3，优于m-OT（20.1）和m-UOT（19.4）。
• m-POT对成本矩阵缩放表现出鲁棒性，在不同距离尺度下性能保持一致，而m-UOT则需要重新调整超参数$\tau$。