[论文解读] Screening Sinkhorn Algorithm for Regularized Optimal Transport

Mokhtar Z. Alaya, Maxime Bérar+2 more|arXiv (Cornell University)|Jun 20, 2019

Optimization and Search Problems参考文献 37被引用 11

一句话总结

本文提出 Screenkhorn，一种新颖的筛选策略，通过在优化前识别并消除可忽略的对偶变量，加速正则化最优传输中的 Sinkhorn 算法。通过利用 KKT 条件和基于阈值的对偶公式，Screenkhorn 求解一个更小但可证明准确的问题，在领域自适应等大规模任务上实现高达 10 倍的加速，且精度损失可忽略不计。

ABSTRACT

We introduce in this paper a novel strategy for efficiently approximating the Sinkhorn distance between two discrete measures. After identifying neglectable components of the dual solution of the regularized Sinkhorn problem, we propose to screen those components by directly setting them at that value before entering the Sinkhorn problem. This allows us to solve a smaller Sinkhorn problem while ensuring approximation with provable guarantees. More formally, the approach is based on a new formulation of dual of Sinkhorn divergence problem and on the KKT optimality conditions of this problem, which enable identification of dual components to be screened. This new analysis leads to the Screenkhorn algorithm. We illustrate the efficiency of Screenkhorn on complex tasks such as dimensionality reduction and domain adaptation involving regularized optimal transport.

研究动机与目标

• 加速正则化最优传输的计算，特别是计算成本高昂的大规模数据中的 Sinkhorn 算法。
• 在优化前识别并消除 Sinkhorn 对偶问题中的可忽略对偶变量，从而减小问题规模而不影响解的质量。
• 随着被筛选变量数量的增加，为筛选后解的目标值和边际约束满足度提供理论保证。
• 开发一种高效、可利用 GPU 加速的算法，同时保持数值稳定性和收敛性。
• 在维度缩减和领域自适应等复杂机器学习任务上对方法进行实证评估，展示显著的加速效果。

提出的方法

• 提出正则化 Sinkhorn 问题的新对偶公式，对对偶变量施加上下界，从而识别出严格满足其约束的分量。
• 利用 KKT 最优性条件推导出在预设阈值以下的对偶变量的筛选充分条件，使其可在优化前设为零。
• 采用带精确计算边界约束的 L-BFGS-B 算法求解约简后的对偶问题，确保数值稳定性和收敛性。
• 采用两步筛选流程：首先通过阈值法识别不活跃的对偶分量；其次在剩余活跃分量上求解约简问题。
• 通过 GPU 优化的 L-BFGS-B 实现集成 GPU 加速，进一步提升大规模问题的性能。
• 算法根据问题结构动态调整筛选阈值，平衡计算节省与解的保真度。

实验结果

研究问题

• RQ1 我们能否在求解 Sinkhorn 算法之前识别并消除正则化最优传输问题中的可忽略对偶变量，从而实现显著的计算节省？
• RQ2 随着被筛选变量数量的增加，筛选后解的目标值和边际约束满足度可提供哪些理论保证？
• RQ3 在多种机器学习任务中，Screenkhorn 算法在速度和精度方面与标准 Sinkhorn 和 Greenkhorn 算法相比表现如何？
• RQ4 在何种场景下筛选能带来最大的计算增益？其对下游任务（如领域自适应）中模型泛化能力有何影响？
• RQ5 该筛选策略能否高效地并行化或通过 GPU 硬件加速？其带来的性能提升如何？

主要发现

• 在大规模领域自适应任务（如 MNIST 到 USPS）中，与标准 Sinkhorn 算法相比，Screenkhorn 实现了高达 10 倍的加速，且精度损失可忽略不计。
• 在 MNIST 到 USPS 领域自适应任务中，Screenkhorn 保持与 Sinkhorn 相同的精度，同时速度提升约一个数量级，尤其在中等规模数据集上表现显著。
• 在简化的三分类高斯问题中，当衰减因子超过 5 时，Screenkhorn 实现 2–10 倍的加速，部分情况下仅出现轻微性能下降。
• 该方法在不同正则化参数和超参数下均表现稳健，即使在 ℓp,1 正则化器变化时，性能仍具竞争力。
• 实证结果表明，计算增益随数据集规模增大而提升，且当样本数量较大时算法依然有效。
• 当可忽略对偶变量数量较高时，筛选策略最为有效，且随着被筛选分量数量增加，其对解质量的理论控制能力依然很强。