[论文解读] Homotopy Smoothing for Non-Smooth Problems with Lower Complexity than $O(1/\epsilon)$

Yi Xu, Yan Yan+2 more|arXiv (Cornell University)|Jul 13, 2016

Sparse and Compressive Sensing Techniques参考文献 22被引用 12

一句话总结

本文提出同伦平滑（HOPS），一种用于具有最大结构的非光滑凸优化的新一阶算法，通过分阶段自适应减小平滑参数，实现 Õ(1/ε¹⁻ᶿ) 的改进迭代复杂度，低于经典的 O(1/ε)。该方法结合 Nesterov 的平滑技术与同伦延续策略，并采用热启动，利用局部误差界加速收敛，适用于总变差去噪和低秩矩阵恢复等任务。

ABSTRACT

In this paper, we develop a novel {\bf ho}moto{\bf p}y {\bf s}moothing (HOPS) algorithm for solving a family of non-smooth problems that is composed of a non-smooth term with an explicit max-structure and a smooth term or a simple non-smooth term whose proximal mapping is easy to compute. The best known iteration complexity for solving such non-smooth optimization problems is $O(1/\epsilon)$ without any assumption on the strong convexity. In this work, we will show that the proposed HOPS achieved a lower iteration complexity of $\widetilde O(1/\epsilon^{1- heta})$\footnote{$\widetilde O()$ suppresses a logarithmic factor.} with $ heta\in(0,1]$ capturing the local sharpness of the objective function around the optimal solutions. To the best of our knowledge, this is the lowest iteration complexity achieved so far for the considered non-smooth optimization problems without strong convexity assumption. The HOPS algorithm employs Nesterov's smoothing technique and Nesterov's accelerated gradient method and runs in stages, which gradually decreases the smoothing parameter in a stage-wise manner until it yields a sufficiently good approximation of the original function. We show that HOPS enjoys a linear convergence for many well-known non-smooth problems (e.g., empirical risk minimization with a piece-wise linear loss function and $\ell_1$ norm regularizer, finding a point in a polyhedron, cone programming, etc). Experimental results verify the effectiveness of HOPS in comparison with Nesterov's smoothing algorithm and the primal-dual style of first-order methods.

研究动机与目标

• 解决在无强凸性条件下，非光滑优化中 O(1/ε) 迭代复杂度过高的问题。
• 开发一种一阶方法，实现具有最大结构问题的迭代复杂度低于 O(1/ε)。
• 形式化基于同伦的平滑策略在非光滑问题上的收敛性保证。
• 在真实问题（如总变差去噪和低秩矩阵分解）中展示 HOPS 的有效性。

提出的方法

• 提出一种分阶段同伦策略，将平滑参数 µ 从较大值逐步减小至较小值。
• 应用 Nesterov 的平滑技术，将非光滑函数 f(x) = max_{u∈Ω₂} ⟨Ax, u⟩ − φ(u) 近似为光滑函数 f_µ(x)。
• 使用 Nesterov 的加速梯度法求解每个平滑子问题，并从前一阶段的解进行热启动。
• 利用全局误差不等式（引理 1）和局部误差界条件，控制收敛分析中的乘法因子。
• 采用回溯线搜索实现加速梯度法中的自适应步长选择。
• 将同伦策略与原始-对偶框架结合，支持 PD-HOPS 变体中的并行对偶更新。

实验结果

研究问题

• RQ1 基于同伦的平滑策略能否在非光滑问题上实现低于 O(1/ε) 的迭代复杂度？
• RQ2 在局部误差界条件下，参数 θ ∈ (0,1] 时，HOPS 的理论收敛速率如何？
• RQ3 HOPS 与 Nesterov 的平滑法及原始-对偶方法相比，收敛速度和迭代次数有何差异？
• RQ4 HOPS 能否在总变差去噪和矩阵分解等知名非光滑问题上实现线性收敛？
• RQ5 使用热启动与分阶段平滑是否能减少总迭代次数，相比单次小 µ 平滑方法？

主要发现

• HOPS 实现了 Õ(1/ε¹⁻ᶿ) 的迭代复杂度，对于无强凸性的非光滑问题，严格低于经典的 O(1/ε)。
• 该方法在总变差去噪、锥规划和分段线性损失的最小经验风险问题中表现出线性收敛。
• 在总变差去噪实验中，HOPS 显著快于 APG 和 PD 变体，尤其在 ε 较小时优势更明显。
• 在低秩矩阵分解中，采用自动周期调优的 PD-HOPS 显著优于手动调优的 HOPS，且远快于标准 PD 方法。
• 结合热启动的同伦策略通过避免求解一个高度精确的小 µ 问题，显著减少了总迭代次数。
• 理论分析表明，局部锐度参数 θ 反映了问题的几何特性，θ 越小，收敛越快。