[論文レビュー] Higher-Order Accelerated Methods for Faster Non-Smooth Optimization

Brian Bullins, Richard Peng|arXiv (Cornell University)|Jun 4, 2019

Sparse and Compressive Sensing Techniques参考文献 32被引用数 5

ひとこと要約

本稿では、max関数のソフトマックス近似における高階の滑らかさを活用することで、より高速な非滑らか最適化のための高階加速手法を導入する。$$O(\varepsilon^{-4/5})$$の反復複雑性を$$\ell_\infty$$回帰および$$\ell_1$-SVMに対して達成し、高階オракルアクセス下での従来の$$O(\varepsilon^{-1})$$の壁を破り、非滑らか問題への高階加速の最初の既知の応用を確立する。

ABSTRACT

We provide improved convergence rates for various \emph{non-smooth} optimization problems via higher-order accelerated methods. In the case of $\ell_\infty$ regression, we achieves an $O(ε^{-4/5})$ iteration complexity, breaking the $O(ε^{-1})$ barrier so far present for previous methods. We arrive at a similar rate for the problem of $\ell_1$-SVM, going beyond what is attainable by first-order methods with prox-oracle access for non-smooth non-strongly convex problems. We further show how to achieve even faster rates by introducing higher-order regularization. Our results rely on recent advances in near-optimal accelerated methods for higher-order smooth convex optimization. In particular, we extend Nesterov's smoothing technique to show that the standard softmax approximation is not only smooth in the usual sense, but also \emph{higher-order} smooth. With this observation in hand, we provide the first example of higher-order acceleration techniques yielding faster rates for \emph{non-smooth} optimization, to the best of our knowledge.

研究の動機と目的

• 非滑らか最適化における$$O(\varepsilon^{-1})$$の反復複雑性の壁を克服し、一次元手法の効率性を向上させること。
• 構造的近似の高階滑らかさを活用することで、加速手法を滑らか問題を超えて拡張すること。
• 代表的な非滑らか機械学習問題、たとえば$$\ell_\infty$$回帰および$$\ell_1$-SVMのためのより高速なアルゴリズムを開発すること。
• 高階正則化および滑らかさが、$$\varepsilon^{-1}$$に非線形依存をもたらす可能性があることを示すこと。
• 非滑らかで強く凸でない問題への高階加速の最初の既知の応用を確立すること。

提案手法

• max関数の滑らかな近似としてソフトマックス関数$$\operatorname{smax}_\mu(\cdot)$$を用い、その四階微分が有界であることを証明することで、高階滑らかさを確立する。
• ソフトマックスの三階微分が$$O(1/\mu^3)$$のリプシッツ連続性を示し、高階最適化技術の適用を可能にする。
• 最近の近似的最適な高階加速手法の進展を、滑らか化された非滑らか問題に適用する。
• 四階モデルの条件数に適合したリスタート手順を採用し、収束速度の向上を図る。
• 高階部分問題を効率的に解くためのテンソル手法を統合し、反復ごとの計算複雑性を競争力のある水準に保つ。
• 勾配と線形方程式系の解法へのアクセスを提供する高階オラクルモデルを用い、一次元prox-オラクル手法よりも高速な収束を実現する。

実験結果

リサーチクエスチョン

• RQ1 高階加速技術は、従来は使われてこなかった非滑らか最適化問題に適用可能か？
• RQ2 高階オラクルアクセス下で、$$\ell_\infty$$回帰および$$\ell_1$-SVMの最適な反復複雑性は何か？
• RQ3 ソフトマックス近似の高階滑らかさは、非滑らか問題における一次元手法よりも高速な収束を可能にするか？
• RQ4 $$\ell_4$-SVMのような高階正則化は、$$O(\varepsilon^{-4/5})$$を越えて収束速度をさらに向上させられるか？
• RQ5 非滑らかで強く凸でない問題において、反復複雑性を$$\varepsilon^{-1}$$に対して非線形依存にできるか？

主な発見

• 本稿では、$$\ell_\infty$$回帰に対して$$O(\varepsilon^{-4/5})$$の反復複雑性を達成し、従来の$$O(\varepsilon^{-1})$$の境界を改善した。
• $$\ell_1$-SVMに対しても、$$O(\varepsilon^{-4/5})$$の反復複雑性を達成し、一次元prox-オラクル手法で可能な範囲を上回る速度を実現した。
• ソフトマックス近似が三階微分において$$O(1/\mu^3)$$-リプシッツ連続であることが証明され、高階滑らかさが確立された。
• $$\ell_4$-正則化を組み込むことで、$$\ell_4$-SVMの反復複雑性は$$O(\varepsilon^{-3/5})$$に改善され、一様凸性下でのさらなる利点を示した。
• 本手法は、反復ごとに勾配オラクルおよび線形方程式系ソルバに$$O(\log^{O(1)}(\mathcal{Z}/\varepsilon))$$回の呼び出しを必要とし、$$\mathcal{Z}$$は問題に依存する。
• 著者らの知る限り、本稿の結果は、高階加速が非滑らか問題においても実際に速い収束を達成できることを初めて示した。