[论文解读] HONES: A Fast and Tuning-free Homotopy Method For Online Newton Step

Yuting Ye, Lihua Lei+1 more|arXiv (Cornell University)|Oct 14, 2016

Advanced Optimization Algorithms Research被引用 3

一句话总结

HONES 是一种快速、无需调参的同伦方法，用于在在线牛顿步长中求解顺序广义投影，通过热启动和稀疏感知更新实现近线性时间复杂度。它利用矩阵更新的秩一结构，并自适应地跟踪解的稀疏性，将每次迭代的计算量从 O(n³) 降低至 O(nk_r)，在性能上显著优于内点法，且无需参数调优。

ABSTRACT

In this article, we develop and analyze a homotopy continuation method, referred to as HONES , for solving the sequential generalized projections in Online Newton Step, as well as the generalized problem known as sequential standard quadratic programming. HONES is fast, tuning-free, error-free (up to machine error) and adaptive to the solution sparsity. This is confirmed by both careful theoretical analysis and extensive experiments on both synthetic and real data.

研究动机与目标

• 为解决在线牛顿步长中的计算瓶颈问题，该方法需求解具有时变正定矩阵的顺序二次规划问题。
• 开发一种既快速又无需超参数调优的方法，适用于高频在线优化场景。
• 利用海森矩阵的秩一更新结构，以及最优解的稀疏性，以加速收敛。
• 消除对需要内点初始值或缺乏高效停止规则的内点法或投影梯度法的依赖。
• 提供一种鲁棒、误差可忽略至机器精度的算法，能够自适应跟踪解的稀疏性，并保持数值稳定性。

提出的方法

• HONES 使用同伦延续框架，通过利用海森矩阵 A^(t) 的秩一更新结构，在时间步之间追踪解路径。
• 它维护一个非零变量的支持集 S，并通过两阶段更新策略（基于 λ 的路径跟踪与基于 u-λ 的精炼）动态扩展或收缩该集合。
• 该算法采用两种关键更新过程：UPDATE_EXPAND_SUPPORT 和 UPDATE_UTILDE_EXPAND_SUPPORT，利用稀疏矩阵更新高效处理支持集的变化。
• 通过中间变量（Par₁, Par₂, Par₃）编码问题参数，实现无需完整矩阵求逆的增量式计算。
• 该方法结合热启动与自适应支持集识别，并采用基于可行性与最优性条件的线搜索策略及停止规则。
• 通过参数延续直接追踪解路径，避免使用如内点法等迭代求解器，将复杂度从 O(n³) 降低至 O(nk_r)。

实验结果

研究问题

• RQ1 能否设计一种同伦方法，在无需参数调优的情况下求解在线牛顿步长中的顺序广义投影？
• RQ2 该方法能否利用海森矩阵的秩一更新结构，实现亚立方时间复杂度？
• RQ3 该算法能否自适应地跟踪解的稀疏性，并在无需内点初始值的情况下保持数值精度？
• RQ4 在大规模在线问题上，该方法是否在速度与可扩展性方面优于标准的内点法或投影梯度法？
• RQ5 在将每次迭代成本从 O(n³) 降低至 O(nk_r) 的同时，该算法能否维持 O(log T) 的遗憾保证？

主要发现

• HONES 实现了每次迭代 O(ns_* + nk_r) 的复杂度，其中 s_* 是初始解中非零变量的数量，k_r 是支持集变化的次数，相比内点法的 O(n³) 显著降低。
• 该方法无需调参且在机器精度范围内无误差，无需线搜索或停止规则启发式策略。
• 在合成数据与真实世界数据上的实证结果表明，HONES 在高维问题上相比内点法最快可实现 100 倍加速，相比 SPG 实现 10 倍加速。
• 该算法天然适应解的稀疏性，当最优解变得更稀疏时性能进一步提升。
• HONES 在将每次迭代计算成本从 O(n³) 降低至 O(nk_r) 的同时，保持了在线牛顿步长的 O(log T) 遗憾界。
• 该方法成功处理了单纯形约束问题中常见的边界解，而传统方法如 SPG 或镜像下降因零元约束而失效。