[論文レビュー] On the Q-linear convergence of forward-backward splitting method and uniqueness of optimal solution to Lasso

Yunier Bello-Cruz, G. Li+1 more|arXiv (Cornell University)|Jun 17, 2018

Sparse and Compressive Sensing Techniques参考文献 24被引用数 4

ひとこと要約

本稿は、勾配のグローバルリプシッツ連続性を仮定しない凸非滑らか最適化問題に対して、Beck-Teboulleのラインサーチを用いた前向き・後向き分割法のQ線形収束を確立する。さらに、2次変分解析とメトリック下正則性を用いて、lasso問題における最適解の一意性に関する新たな検証可能な特徴付けを提供する。

ABSTRACT

In this paper, by using tools of second-order variational analysis, we study the popular forward-backward splitting method with Beck-Teboulle's line-search for solving convex optimization problem where the objective function can be split into the sum of a differentiable function and a possible nonsmooth function. We first establish that this method exhibits global convergence to an optimal solution of the problem (if it exists) without the usual assumption that the gradient of the differentiable function involved is globally Lipschitz continuous. We also obtain the $o(k^{-1})$ complexity for the functional value sequence when this usual assumption is weaken from global Lipschitz continuity to local Lipschitz continuity, improving the existing $\mathcal{O}(k^{-1})$ complexity result. We then derive the local and global Q-linear convergence of the method in terms of both the function value sequence and the iterative sequence, under a general metric subregularity assumption which is automatically satisfied for convex piecewise-linear-quadratic optimization problems. In particular, we provide verifiable sufficient conditions for metric subregularity assumptions, and so, local and global Q-linear convergence of the proposed method for broad structured optimization problems arise in machine learning and signal processing including Poisson linear inverse problem, the partly smooth optimization problems, as well as the $\ell_1$-regularized optimization problems. Our results complement the current literature by providing $Q$-linear convergence result to the forward-backward splitting method under weaker assumptions. Moreover, via this approach, we obtain several full characterizations for the uniqueness of optimal solution to Lasso problem, which covers some recent results in this direction.

研究の動機と目的

• 勾配の連続性仮定を弱める条件下で、前向き・後向き分割法のグローバル収束と改善された反復複雑度を確立すること。
• 部分微分のメトリック下正則性を用いて、反復列および目的関数値列のQ線形収束を導出すること。
• 機械学習および信号処理で一般的な構造的問題における線形収束の新たな検証可能な十分条件を提供すること。
• 2次変分解析を用いて、lasso問題における最適解の一意性の完全な特徴付けを提供すること。
• 解析を、ポisson逆問題やノルム正則化付き行列問題を含むより広範な最適化問題のクラスへと拡張すること。

提案手法

• 勾配のグローバルリプシッツ連続性に依存しないように、Beck-Teboulleのラインサーチ戦略を用いる。
• 2次変分解析の道具を用いて、部分微分のメトリック下正則性および2次成長条件を分析する。
• 一般なメトリック下正則性仮定の下でQ線形収束を確立し、これは凸な区分線形二次問題では自動的に成立する。
• lasso、ポisson逆問題、部分滑らか最適化などの構造的問題におけるメトリック下正則性の検証可能な条件を導出する。
• 前向き・後向き反復においてプロキシマル作用素を用いる：$ x^{k+1} = \text{prox}_{\alpha_k g}(x^k - \alpha_k \nabla f(x^k)) $、適応的ステップサイズ選択を伴う。
• lasso解の一意性を部分微分のメトリック下正則性および2次成長と関連付け、新たな特徴付けを導出する。

実験結果

リサーチクエスチョン

• RQ1 Beck-Teboulleのラインサーチを用いた前向き・後向き分割法は、勾配のグローバルリプシッツ連続性を仮定しない条件下で、どのようにしてグローバルに収束するか？
• RQ2 勾配の局所的リプシッツ連続性のみを仮定する場合、反復複雑度は $ o(k^{-1}) $ に改善可能か？
• RQ3 関数値および反復列の両面において、前向き・後向き法のQ線形収束を保証する条件は何か？
• RQ4 変分解析を用いて、lasso問題における最適解の一意性を完全に特徴付けるにはどうすればよいか？
• RQ5 部分微分のメトリック下正則性とlasso解の一意性の関係は何か？

主な発見

• 勾配のグローバルリプシッツ連続性を仮定しない条件下で、Beck-Teboulleのラインサーチを用いた前向き・後向き分割法は、最適解にグローバルに収束する。
• 勾配が局所的リプシッツ連続である場合、目的関数値列の収束速度は標準的な $ \mathcal{O}(k^{-1}) $ から $ o(k^{-1}) $ に改善される。
• 一般なメトリック下正則性仮定の下で、目的関数値列および反復列の両方のQ線形収束が確立され、これは凸な区分線形二次問題では自動的に成立する。
• メトリック下正則性の検証可能な十分条件が導出され、lasso、ポisson逆問題、部分滑らか最適化を含む広範な問題クラスにおけるQ線形収束が可能になる。
• 本稿は、lasso問題の最適解の一意性に関する複数の新たな完全な特徴付けを提供し、最近の結果を拡張・統合する。
• 2次変分解析によるアプローチにより、lasso解の一意性が解における部分微分の強いメトリック下正則性と同値であることが明らかになり、より深い理論的洞察が得られる。