[论文解读] Higher-Order Accelerated Methods for Faster Non-Smooth Optimization

Brian Bullins, Richard Peng|arXiv (Cornell University)|Jun 4, 2019

Sparse and Compressive Sensing Techniques参考文献 32被引用 5

一句话总结

本文通过利用最大函数的 softmax 近似所具有的高阶光滑性，提出了一类更高阶的加速方法，以实现更快的非光滑优化。该方法在 ℓ∞ 回归和 ℓ1-SVM 问题上实现了 $O(\varepsilon^{-4/5})$ 的迭代复杂度，在更高阶 oracle 访问条件下打破了以往 $O(\varepsilon^{-1})$ 的复杂度瓶颈，是首次已知将高阶加速应用于非光滑问题的实例。

ABSTRACT

We provide improved convergence rates for various \emph{non-smooth} optimization problems via higher-order accelerated methods. In the case of $\ell_\infty$ regression, we achieves an $O(ε^{-4/5})$ iteration complexity, breaking the $O(ε^{-1})$ barrier so far present for previous methods. We arrive at a similar rate for the problem of $\ell_1$-SVM, going beyond what is attainable by first-order methods with prox-oracle access for non-smooth non-strongly convex problems. We further show how to achieve even faster rates by introducing higher-order regularization. Our results rely on recent advances in near-optimal accelerated methods for higher-order smooth convex optimization. In particular, we extend Nesterov's smoothing technique to show that the standard softmax approximation is not only smooth in the usual sense, but also \emph{higher-order} smooth. With this observation in hand, we provide the first example of higher-order acceleration techniques yielding faster rates for \emph{non-smooth} optimization, to the best of our knowledge.

研究动机与目标

• 为克服非光滑优化中 $O(\varepsilon^{-1})$ 迭代复杂度的瓶颈，该瓶颈限制了第一类方法的效率。
• 通过利用结构化近似中的高阶光滑性，将加速方法从光滑问题推广至更广泛场景。
• 为关键的非光滑机器学习问题（如 $\ell_\infty$ 回归和 $\ell_1$-SVM）开发更快速的算法。
• 证明高阶正则化与光滑性可实现对 $\varepsilon^{-1}$ 的次线性依赖。
• 建立首个已知将高阶加速应用于非光滑、非强凸问题的实例。

提出的方法

• 将 softmax 函数 $\operatorname{smax}_\mu(\cdot)$ 用作最大函数的光滑近似，证明其具有有界四阶导数的高阶光滑性。
• 证明 softmax 的三阶导数是 $O(1/\mu^3)$-Lipschitz 连续的，从而支持高阶优化技术的应用。
• 将近期近似最优的高阶加速方法应用于平滑后的非光滑问题。
• 采用一种针对四阶模型条件数量身定制的重启策略，以实现更优的收敛速率。
• 集成高效的张量方法求解高阶子问题，确保每次迭代的复杂度保持竞争力。
• 采用提供梯度和线性系统求解访问的高阶 oracle 模型，使得收敛速度优于第一类近端 oracle 方法。

实验结果

研究问题

• RQ1 高阶加速技术能否应用于传统上不适用的非光滑优化问题？
• RQ2 在更高阶 oracle 访问条件下，$\ell_\infty$ 回归和 $\ell_1$-SVM 的最优迭代复杂度是多少？
• RQ3 softmax 近似的高阶光滑性是否能为非光滑问题带来比第一类方法更快的收敛速度？
• RQ4 高阶正则化（如 $\ell_4$-SVM）是否能进一步将收敛速率提升至 $O(\varepsilon^{-4/5})$ 以下？
• RQ5 对于非光滑、非强凸问题，是否可能实现迭代复杂度对 $\varepsilon^{-1}$ 的次线性依赖？

主要发现

• 本文在 $\ell_\infty$ 回归问题上实现了 $O(\varepsilon^{-4/5})$ 的迭代复杂度，优于以往的 $O(\varepsilon^{-1})$ 上界。
• 对于 $\ell_1$-SVM，该方法实现了 $O(\varepsilon^{-4/5})$ 的迭代复杂度，其速度优于第一类近端 oracle 方法所能达到的极限。
• 证明 softmax 近似在三阶导数上为 $O(1/\mu^3)$-Lipschitz，确立了其高阶光滑性。
• 通过引入 $\ell_4$-正则化，$\ell_4$-SVM 的迭代复杂度进一步优化至 $O(\varepsilon^{-3/5})$，在一致凸条件下展现了进一步增益。
• 该方法每次迭代需要 $O(\log^{O(1)}(\mathcal{Z}/\varepsilon))$ 次梯度 oracle 和线性系统求解器调用，其中 $\mathcal{Z}$ 为与问题相关的常数。
• 据作者所知，这是首次证明高阶加速可在非光滑问题上实现可证明的更快收敛，具有里程碑意义。