[论文解读] Fast Differentiable Sorting and Ranking

Mathieu Blondel, Olivier Teboul+2 more|arXiv (Cornell University)|Feb 20, 2020

Machine Learning and Algorithms参考文献 37被引用 12

一句话总结

该论文提出了首个具有 $O(n\log n)$ 时间复杂度和 $O(n)$ 内存使用量的可微分排序与排名算子，通过将排序和排名表述为在排列单纯形（permutahedron）上的投影——即排列的凸包——并利用等序优化实现精确计算与微分。该方法实现了排序与排名操作的高效、精确反向传播，相比先前方法在速度上提升了一个数量级，并在鲁棒统计与排名度量方面开启了新的应用可能。

ABSTRACT

The sorting operation is one of the most commonly used building blocks in computer programming. In machine learning, it is often used for robust statistics. However, seen as a function, it is piecewise linear and as a result includes many kinks where it is non-differentiable. More problematic is the related ranking operator, often used for order statistics and ranking metrics. It is a piecewise constant function, meaning that its derivatives are null or undefined. While numerous works have proposed differentiable proxies to sorting and ranking, they do not achieve the $O(n \log n)$ time complexity one would expect from sorting and ranking operations. In this paper, we propose the first differentiable sorting and ranking operators with $O(n \log n)$ time and $O(n)$ space complexity. Our proposal in addition enjoys exact computation and differentiation. We achieve this feat by constructing differentiable operators as projections onto the permutahedron, the convex hull of permutations, and using a reduction to isotonic optimization. Empirically, we confirm that our approach is an order of magnitude faster than existing approaches and showcase two novel applications: differentiable Spearman's rank correlation coefficient and least trimmed squares.

研究动机与目标

• 为解决机器学习中缺乏高效可微分排序与排名算子的问题，此类算子在鲁棒统计与排名度量中至关重要。
• 克服排序（分段线性且存在拐点）与排名（分段常数）在基于梯度优化中的不可微性。
• 设计具有最优 $O(n\log n)$ 时间复杂度与 $O(n)$ 空间复杂度的可微分排序与排名算子，支持端到端训练。
• 实现新应用，如可微分斯皮尔曼等级相关系数与软最小截断平方和，用于鲁棒回归。
• 实现精确计算与微分，避免依赖如Sinkhorn或成对比较等迭代近似方法。

提出的方法

• 将排序与排名表述为在排列单纯形（即 $[n]$ 所有排列的凸包）上的线性规划问题。
• 引入正则化，将线性规划转化为在排列单纯形上的投影，从而实现可微性。
• 将投影问题简化为等序优化，利用高效算法（如池相邻违反者PAV算法）实现 $O(n\log n)$ 的计算复杂度。
• 将可微分排序与排名算子定义为这些正则化投影的解，通过自动微分确保精确梯度。
• 使用软排序算子 $s_{\varepsilon\Psi}(\bm{\theta})$ 作为硬排序的连续可微代理，其中 $\varepsilon$ 控制平滑程度。
• 利用排列单纯形与等序优化的结构，实现在 $O(n)$ 时间内的精确、闭式微分。

实验结果

研究问题

• RQ1 我们能否设计出具有 $O(n\log n)$ 时间复杂度与精确梯度的可微分排序算子？
• RQ2 我们能否在保持效率与精确性的同时，将该方法扩展至可微分排名？
• RQ3 我们能否在不依赖Sinkhorn或成对比较等迭代近似方法的前提下，实现精确计算与微分？
• RQ4 我们的算子能否用于构建新型可微分度量（如斯皮尔曼等级相关系数），以支持端到端学习？
• RQ5 我们的软排序算子能否实现自适应鲁棒回归（如软最小截断平方和），在最小二乘与鲁棒LTS之间实现插值？

主要发现

• 所提出的可微分排序与排名算子实现了 $O(n\log n)$ 时间复杂度与 $O(n)$ 内存使用量，相比先前的 $O(n^2)$ 或 $O(n^3)$ 方法有显著改进。
• 通过在排列单纯形上的投影实现精确计算与微分，避免了迭代算法带来的近似误差。
• 实验结果表明，该方法在速度上相比现有可微分排序与排名方法（包括基于Sinkhorn与成对比较的方法）快一个数量级。
• 由软排序算子导出的软最小截断平方和目标函数，可在 $\varepsilon \to \infty$ 时插值为最小二乘法，$\varepsilon \to 0$ 时插值为硬最小截断平方和，从而实现自适应鲁棒回归。
• 在含标签噪声的数据集实验中，软最小截断平方和方法在高异常值率下优于岭回归与Huber损失，尤其通过交叉验证自适应选择 $\varepsilon$ 时表现更优。
• 由软排名算子支持的可微分斯皮尔曼等级相关系数，使得在标签排名任务中可通过梯度优化实现端到端训练。