[论文解读] Differentiable Ranks and Sorting using Optimal Transport

Marco Cuturi, Olivier Teboul+1 more|arXiv (Cornell University)|May 28, 2019

Machine Learning and Algorithms参考文献 39被引用 11

一句话总结

本文提出了一种基于最优传输（OT）与熵正则化的可微分代理方法，用于排序和排名，实现了深度学习中的端到端训练。通过将排序问题建模为最优传输分配问题，并利用Sinkhorn迭代求解，该方法生成了平滑、可微分的排名与排序算子，在分位数回归和分类任务中优于非可微基线方法。

ABSTRACT

Sorting an array is a fundamental routine in machine learning, one that is used to compute rank-based statistics, cumulative distribution functions (CDFs), quantiles, or to select closest neighbors and labels. The sorting function is however piece-wise constant (the sorting permutation of a vector does not change if the entries of that vector are infinitesimally perturbed) and therefore has no gradient information to back-propagate. We propose a framework to sort elements that is algorithmically differentiable. We leverage the fact that sorting can be seen as a particular instance of the optimal transport (OT) problem on $\mathbb{R}$, from input values to a predefined array of sorted values (e.g. $1,2,\dots,n$ if the input array has $n$ elements). Building upon this link , we propose generalized CDFs and quantile operators by varying the size and weights of the target presorted array. Because this amounts to using the so-called Kantorovich formulation of OT, we call these quantities K-sorts, K-CDFs and K-quantiles. We recover differentiable algorithms by adding to the OT problem an entropic regularization, and approximate it using a few Sinkhorn iterations. We call these operators S-sorts, S-CDFs and S-quantiles, and use them in various learning settings: we benchmark them against the recently proposed neuralsort [Grover et al. 2019], propose applications to quantile regression and introduce differentiable formulations of the top-k accuracy that deliver state-of-the art performance.

研究动机与目标

• 解决深度学习流水线中标准排序与排名操作的不可微性问题。
• 为顶-k准确率等指标中至关重要的离散排名与排序算子，开发平滑、可微的替代方法，以及0/1损失和分位数回归等损失函数。
• 利用最优传输理论将排序推广至n≠m的映射，超越传统的n对n映射。
• 通过用平滑、梯度友好的替代方法替换离散操作，使基于排名的指标可作为可微训练目标使用。
• 通过分位数回归和多分类任务中0/1损失的平滑近似，展示方法的实际应用价值。

提出的方法

• 将排序建模为输入值与m个递增目标值上的目标测度之间的最优分配问题，推广标准的n对n排序。
• 引入Kantorovich排名与排序算子，通过最优传输计划将排名与排序值表示为凸组合。
• 通过熵正则化处理OT问题，利用Sinkhorn算法实现高效求解，复杂度为O(nmℓ)，其中ℓ为迭代次数。
• 使用可微的压缩函数与代价函数以稳定梯度，实证表明将输入白化至[0,1]区间可显著提升数值稳定性。
• 将平滑算子应用于定义分类任务中0/1损失的可微代理，以及回归任务中分位数回归损失的可微代理。
• 采用小批量优化策略，结合Sinkhorn排名算子进行软分位数估计，将离散的分位数点选择替换为可微的软选择。

实验结果

研究问题

• RQ1 排序与排名能否在保持机器学习任务语义意义的前提下实现可微？
• RQ2 最优传输如何将标准排序操作推广至n≠m的映射之外？
• RQ3 熵正则化与Sinkhorn迭代对排名与排序算子的可微性与数值稳定性有何影响？
• RQ4 可微排名与排序算子能否改善分位数回归与分类任务中的训练动态？
• RQ5 代价函数、目标向量与压缩函数的选择如何影响正则化OT框架中的梯度稳定性？

主要发现

• 当ε = 10⁻²时，所提出的软分位数算子在多个数据集上的50%与90%分位数处，训练分位数误差优于非可微基线（ε = 0）。
• 测试集性能（以分位数误差与MSE衡量）在所提方法与基线之间保持相当，表明尽管训练优化得到改善，但泛化能力未下降。
• 该方法在极少超参数调优下实现稳定训练，且在处理前将输入白化并压缩至[0,1]区间后，数值稳定性显著提升。
• 目标测度的大小（m）可缩减至最小3而性能无显著损失，证明了该方法的灵活性与高效性。
• 可微排名与排序算子使基于排名的指标（如顶-k准确率）与0/1损失可作为可微训练目标使用，实现了端到端学习。
• 实证结果表明，平滑后的优化景观减少了局部极小值，使分位数回归任务中的收敛更加一致。