[論文レビュー] On the convergence of the proximal forward-backward splitting method with linesearches

Yunier Bello-Cruz, T. T. A. Nghia|arXiv (Cornell University)|Jan 11, 2015

Sparse and Compressive Sensing Techniques参考文献 36被引用数 12

ひとこと要約

本稿は、勾配のリプシッツ連続性を仮定しないヒルバート空間における非滑らかな凸最適化に対するプロキシマル前向き・後向き分割法の弱収束を確立する。2つの新しいラインサーチ戦略を導入することで、ステップサイズが正の定数より小さい場合に収束が達成され、目的関数値の進捗に関する複雑度の上限が得られる。

ABSTRACT

In this paper we focus on the convergence analysis of the proximal forward-backward splitting method for solving nonsmooth optimization problems in Hilbert spaces when the objective function is the sum of two convex functions. Assuming that one of the functions is Fr\'echet differentiable and using two new linesearches, the weak convergence is established without any Lipschitz continuity assumption on the gradient. Furthermore, we obtain many complexity results of cost values at the iterates when the stepsizes are bounded below by a positive constant.

研究の動機と目的

• ヒルバート空間における凸最適化に対するプロキシマル前向き・後向き分割法の収束を分析すること。
• 微分可能関数の勾配に対する標準的なリプシッツ連続性の仮定を除去すること。
• 2つの新しいラインサーチ戦略を用いて、ステップサイズを動的に選択することで弱収束を確立すること。
• ステップサイズが正の定数より小さい場合に、目的関数値の低下に関する複雑度結果を導出すること。

提案手法

• 本手法は、2つの凸関数の和を最小化するために前向き・後向き分割スキームを適用する。そのうち1つはフレシェ微分可能である。
• 勾配のリプシッツ連続性を仮定しないように、ステップサイズを動的に選択する2つの新しいラインサーチを導入する。
• ラインサーチは、目的関数値の十分な減少を保証するとともに、収束性の性質を維持する。
• 一般化された無限次元問題への適用を可能とするため、ヒルバート空間の設定で解析が行われる。
• 変分不等式の議論とプロキシマル作用素の性質を用いて、弱収束が証明される。
• ステップサイズが正の定数より小さいと仮定して、複雑度解析が実施される。

実験結果

リサーチクエスチョン

• RQ1 勾配のリプシッツ連続性を仮定しない条件下で、プロキシマル前向き・後向き法の弱収束を確立できるか？
• RQ2 勾配のリプシッツ連続性の仮定を回避しながら収束を保証するラインサーチ戦略をどのように設計できるか？
• RQ3 ステップサイズが正の定数より小さい場合に、目的関数値の低下に関する複雑度の上限をどのように導出できるか？
• RQ4 提案された手法は、無限次元ヒルバート空間においても収束性を保つのか？

主な発見

• 微分可能関数の勾配がリプシッツ連続でない場合であっても、反復列の弱収束が確立される。
• 提案されたラインサーチ戦略は、目的関数値の十分な減少を保証し、最小限の仮定のもとで収束を支援する。
• ステップサイズが正の定数より小さい場合、反復点における目的関数値の低下に関する複雑度の上限が達成される。
• 収束解析は一般のヒルバート空間で成り立つため、無限次元最適化問題への適用が拡張可能である。