[論文レビュー] Homotopy Smoothing for Non-Smooth Problems with Lower Complexity than $O(1/\epsilon)$

Yi Xu, Yan Yan+2 more|arXiv (Cornell University)|Jul 13, 2016

Sparse and Compressive Sensing Techniques参考文献 22被引用数 12

ひとこと要約

本稿では、最大構造を有する非滑らか凸最適化のための新しい一階法であるホモトピー滑らか化（HOPS）を提案する。滑らか化パラメータを段階的に適応的に減少させることで、古典的な O(1/ε) よりも低い Õ(1/ε¹⁻ᶿ) の反復複雑性を達成する。この手法はネステロフの滑らか化とホモトピー継続、およびウォームスタートを組み合わせ、局所的誤差境界を活用して TV ノイズ除去や低ランク行列回復などの問題における収束を加速する。

ABSTRACT

In this paper, we develop a novel {\bf ho}moto{\bf p}y {\bf s}moothing (HOPS) algorithm for solving a family of non-smooth problems that is composed of a non-smooth term with an explicit max-structure and a smooth term or a simple non-smooth term whose proximal mapping is easy to compute. The best known iteration complexity for solving such non-smooth optimization problems is $O(1/\epsilon)$ without any assumption on the strong convexity. In this work, we will show that the proposed HOPS achieved a lower iteration complexity of $\widetilde O(1/\epsilon^{1- heta})$\footnote{$\widetilde O()$ suppresses a logarithmic factor.} with $ heta\in(0,1]$ capturing the local sharpness of the objective function around the optimal solutions. To the best of our knowledge, this is the lowest iteration complexity achieved so far for the considered non-smooth optimization problems without strong convexity assumption. The HOPS algorithm employs Nesterov's smoothing technique and Nesterov's accelerated gradient method and runs in stages, which gradually decreases the smoothing parameter in a stage-wise manner until it yields a sufficiently good approximation of the original function. We show that HOPS enjoys a linear convergence for many well-known non-smooth problems (e.g., empirical risk minimization with a piece-wise linear loss function and $\ell_1$ norm regularizer, finding a point in a polyhedron, cone programming, etc). Experimental results verify the effectiveness of HOPS in comparison with Nesterov's smoothing algorithm and the primal-dual style of first-order methods.

研究の動機と目的

• 滑らかでない最適化において強い凸性がない場合に生じる O(1/ε) の高い反復複雑性に対処すること。
• 最大構造を有する問題に対して、O(1/ε) よりも低い複雑性を達成する一階法を開発すること。
• 滑らかでない問題に対するホモトピーに基づく滑らか化戦略の収束保証を形式化すること。
• HOPS が実世界の問題、例えば全変動ノイズ除去や低ランク行列分解において有効であることを示すこと。

提案手法

• 滑らか化パラメータ µ を大きな値から小さな値へ段階的に減少させるホモトピー戦略を提案する。
• ネステロフの滑らか化技術を用いて、非滑らかな関数 f(x) = max_{u∈Ω₂} ⟨Ax, u⟩ − φ(u) を滑らかな関数 f_µ(x) で近似する。
• 各滑らか化された部分問題を、直前の段階からのウォームスタートを用いてネステロフの加速勾配法で解く。
• 収束解析において乗法的要因を抑え込むために、グローバル誤差不等式（補題1）と局所的誤差境界条件を活用する。
• 加速勾配法におけるステップサイズの適応的選択のため、バックトラッキングラインサーチを採用する。
• ホモトピー戦略をプライマル・デュアルフレームワークと統合し、PD-HOPS の変種で並列デュアル更新を可能にする。

実験結果

リサーチクエスチョン

• RQ1 ホモトピーに基づく滑らか化戦略は、滑らかでない問題に対して O(1/ε) よりも低い反復複雑性を達成できるか？
• RQ2 局所的誤差境界条件の下で、パrameter θ ∈ (0,1] のもとで HOPS の理論的収束速度は何か？
• RQ3 HOPS はネステロフの滑らか化法やプライマル・デュアル法と比較して、収束速度と反復回数の点で優れているか？
• RQ4 HOPS は、TV ノイズ除去や行列分解といった代表的な滑らかでない問題に対して線形収束を達成できるか？
• RQ5 ウォームスタートと段階的滑らか化の使用により、単一の小さな µ を用いた滑らか化アプローチと比較して、合計反復回数が減少するか？

主な発見

• HOPS は、強い凸性がない非滑らか問題に対して、古典的な O(1/ε) よりも厳密に低い Õ(1/ε¹⁻ᶿ) の反復複雑性を達成する。
• 本手法は、全変動ノイズ除去、コーン計画、および区分的線形損失を伴う経験的リスク最小化といった問題において、線形収束を示す。
• TV ノイズ除去の実験では、ε が小さい場合に特に顕著に、APG や PD の変種よりも HOPS がはるかに速く収束する。
• 低ランク行列分解の文脈では、自動エポックチューニングを備えた PD-HOPS は、手動チューニングの HOPS よりも優れており、標準的な PD よりも著しく高速である。
• ウォームスタートを伴うホモトピー戦略により、1つの高精度な小さな µ 問題を解く必要が回避され、合計反復回数が削減される。
• 理論的解析から、局所的鋭さパrameter θ が問題の幾何構造を捉えており、θ が小さいほど収束が速くなることが示された。