[論文レビュー] A Multi-step Inertial Forward--Backward Splitting Method for Non-convex Optimization

Jingwei Liang, Jalal Fadili+1 more|arXiv (Cornell University)|Jun 7, 2016

Sparse and Compressive Sensing Techniques参考文献 13被引用数 12

ひとこと要約

本稿は、proper lower semicontinuous関数とLipschitz連続勾配をもつ滑らかでない関数の和を含む非凸・非滑らか最適化問題に対して、多段階インertial Forward–Backwardスプリット法を提案する。Kurdyka–Łojasiewicz性質の下でグローバル収束を確立し、非滑らか成分が部分的滑らかで、かつ局所的にC^2級である場合に、有限時間でのアクティブ多様体の特定と鋭い局所線形収束速度を示す。

ABSTRACT

In this paper, we propose a multi-step inertial Forward--Backward splitting algorithm for minimizing the sum of two non-necessarily convex functions, one of which is proper lower semi-continuous while the other is differentiable with a Lipschitz continuous gradient. We first prove global convergence of the scheme with the help of the Kurdyka-Łojasiewicz property. Then, when the non-smooth part is also partly smooth relative to a smooth submanifold, we establish finite identification of the latter and provide sharp local linear convergence analysis. The proposed method is illustrated on a few problems arising from statistics and machine learning.

研究の動機と目的

• 非凸・非滑らか最適化設定において、インエラシャル手法の収束保証の欠如に対処する。
• 負のインエラシャルパラメータと高次記憶を許容する柔軟な多段階インエラシャルスキームを構築する。
• Kurdyka–Łojasiewicz性質の下で、反復列が臨界点にグローバルに収束することを確立する。
• 非滑らか成分が部分的滑らかで、ある部分多様体に関して定義される場合の局所的収束挙動を調査する。
• 鋭い局所線形収束レートを提供し、収束速度に与えるアクティブ多様体の役割を同定する。

提案手法

• 過去の反復列とインエラシャルパラメータの記憶を用いる多段階インエラシャルForward–Backward（MiFB）アルゴリズムを提案する。
• 2段階の外挿ステップを導入する：$ y^{a,k} = x^k + \sum_{i\in I} a_{i,k}(x^{k-i} - x^{k-i-1}) $ および $ y^{b,k} = x^k + \sum_{i\in I} b_{i,k}(x^{k-i} - x^{k-i-1}) $、ここで $ a_{i,k}, b_{i,k} \in (-1, 2] $。
• 非滑らか関数 $ R $ のproximity作用素を、$ x^{k+1} \in \text{prox}_{\gamma_k R}(y^{a,k} - \gamma_k \nabla F(y^{b,k})) $ として適用する。
• Kurdyka–Łojasiewicz性質を用いて、有界な列が臨界点にグローバルに収束することを証明する。
• 部分的滑らか性と $ F $ の $ x^\star $ の近傍における局所的 $ C^2 $-滑らか性の下で、アクティブ多様体 $ M_{x^\star} $ の有限時間特定を確立する。
• アクティブ多様体上での線形化ダイナミクスを解析し、行列のスペクトル半径を用いて鋭い局所線形収束レートを導出する。

実験結果

リサーチクエスチョン

• RQ1 多段階インエラシャルForward–Backward法は、非凸・非滑らかな合成最適化問題においてグローバル収束を達成できるか？
• RQ2 非滑らか関数が部分的滑らかである場合、アルゴリズムはどのような条件下でアクティブ多様体を有限時間内に特定するか？
• RQ3 提案手法の正確な局所線形収束レートは何か？ また、そのレートはアクティブ多様体の幾何構造にどのように依存するか？
• RQ4 インエラシャルパラメータ、特に負の値を含む場合、非凸領域における収束挙動にどのような影響を与えるか？
• RQ5 局所収束解析を応用して、高次加速スキームを設計できるか？

主な発見

• Kurdyka–Łojasiewicz性質と目的関数の有界性の下で、反復列が臨界点にグローバルに収束することが確立された。
• 関数 $ R $ が $ M_{x^\star} $ に関して部分的滑らかで、$ F $ が $ x^\star $ の近傍で局所的に $ C^2 $ である場合、アクティブ多様体 $ M_{x^\star} $ の有限時間特定が証明された。
• 局所収束レートは線形的かつ鋭く、そのレートはアクティブ多様体上に制限された $ \Phi $ のヘッセ行列のスペクトル半径に依存する。
• 収束レートはアクティブ多様体 $ M_{x^\star} $ の幾何構造に明示的に依存しており、ヘッセ行列 $ \nabla^2_{M_{x^\star}} \Phi(x^\star) $ が中心的な役割を果たす。
• 本手法は負のインエラシャルパラメータと高次記憶を許容し、従来のインエラシャルスキームを拡張する。
• 解析により、有限時間内の多様体特定後、問題は $ M_{x^\star} $ 上での $ \Phi $ の最小化に帰着され、適切な条件下で高次加速が可能であることが明らかになった。