[论文解读] Fast, Provable Algorithms for Isotonic Regression in all $\ell_{p}$-norms

Rasmus Kyng, Anup Rao+1 more|arXiv (Cornell University)|Jul 2, 2015

Sparse and Compressive Sensing Techniques参考文献 26被引用 7

一句话总结

本文提出了在有向无环图（DAGs）上针对所有加权 ℓp-范数（p ∈ [1, ∞)）和 ℓ∞-范数的快速、可证明正确的等序回归算法。它引入了一个统一的优化框架，实现了更优的时间复杂度——ℓp-范数为 O(m^{1.5} log²n log(n/δ))，ℓ∞-范数为 O(m) 期望时间，优于以往方法，同时保证收敛性。

ABSTRACT

Given a directed acyclic graph $G,$ and a set of values $y$ on the vertices, the Isotonic Regression of $y$ is a vector $x$ that respects the partial order described by $G,$ and minimizes $||x-y||,$ for a specified norm. This paper gives improved algorithms for computing the Isotonic Regression for all weighted $\ell_{p}$-norms with rigorous performance guarantees. Our algorithms are quite practical, and their variants can be implemented to run fast in practice.

研究动机与目标

• 为有向无环图（DAGs）上的所有加权 ℓp-范数（p ∈ [1, ∞)）设计高效且可证明正确的等序回归算法。
• 解决 ℓ∞-范数等序回归缺乏快速、理论基础坚实的算法的问题，此前仅存在 O(m log n) 的时间界。
• 改进严格等序回归的现状，其定义为 ℓp-回归在 p → ∞ 时的极限。
• 通过引入基于压力的框架，统一并推广现有方法，实现对最陡路径和梯度更新的高效计算。
• 通过基于顶点压力和路径优化的新型算法流水线，提供严格的性能保证与实际效率。

提出的方法

• 提出基于压力的框架，以建模顶点对其祖先和后代的影响，将‘压力’定义为路径上最大变化速率。
• 通过 CompHighPressGraph 实现递归分解策略，将图缩减为高压力顶点占主导的子图，确保收敛性。
• 采用基于随机采样的最陡路径选择方法（SteepestPath），通过采样候选路径并根据梯度大小递归精炼搜索空间。
• 应用星型结构的路径查找子程序（StarSteepestPath），通过值差与距离的极大极小比值，计算通过中心顶点的最陡路径。
• 使用 VertexSteepestPath 计算通过给定顶点的最陡路径，通过分析可达性并计算至终端的最优路径。
• 实现一种字典序最小化算法（CompLexMin），通过沿最陡路径迭代固定标签，并利用 AssignWithZeroGradient 在梯度为零的区域传播值。

实验结果

研究问题

• RQ1 我们能否设计一个统一的框架，高效计算所有 ℓp-范数（p ∈ [1, ∞)）的等序回归，并具备可证明的性能保证？
• RQ2 ℓ∞-范数等序回归的最优时间复杂度是多少？能否实现线性时间？
• RQ3 如何比以往方法更高效地计算严格等序回归（即 ℓp-回归在 p → ∞ 时的极限）？
• RQ4 随机路径选择与基于压力的剪枝能否提升等序回归算法的收敛性与运行时间？
• RQ5 在子二次时间复杂度下，确保 ℓp-回归收敛至 ϵ-最优解的理论基础是什么？

主要发现

• ℓp-范数等序回归算法的运行时间为 O(m^{1.5} log²n log(n/δ))，并计算出与最优 ℓp 目标值相差不超过 δ 的解。
• ℓ∞-范数等序回归算法的期望运行时间为 O(m)，并计算出最小可能的 ℓ∞-范数误差，达到理论下界。
• 严格等序回归问题在期望 O(mn) 时间内求解，优于先前的 O(min(mn, n^ω) + n² log n) 时间界。
• ℓ∞-范数算法在时间线性内计算出 Min、Max 和 Avg 解（三种标准变体），解决了关于最优复杂度的开放问题。
• 基于压力的框架实现了高效的路径剪枝与基于梯度的精炼，带来更快的收敛速度与更优的理论界。
• 包括 SteepestPath 和 CompLexMin 在内的算法流水线确保收敛至字典序最小解，并在所有考虑的范数下保证正确性。