[論文レビュー] An inertial Tseng's type proximal algorithm for nonsmooth and nonconvex optimization problems

Radu Ioan Boţ, Ernö Robert Csetnek|arXiv (Cornell University)|Jun 3, 2014

Optimization and Variational Analysis参考文献 29被引用数 6

ひとこと要約

本稿では、非滑らかで非凸な最適化問題に対して、Bregman距離を用いた前向き・後向き・前向きのステップと慣性項・記憶効果を組み合わせた、慣性付きTseng型の近似アルゴリズムを提案する。主な貢献は、半代数的関数に成立するKurdyka-Łojasiewicz（KL）不等式を仮定することで、反復列が臨界点に大域的収束することの保証である。

ABSTRACT

We investigate the convergence of a forward-backward-forward proximal-type algorithm with inertial and memory effects when minimizing the sum of a nonsmooth function with a smooth one in the absence of convexity. The convergence is obtained provided an appropriate regularization of the objective satisfies the Kurdyka-Łojasiewicz inequality, which is for instance fulfilled for semi-algebraic functions.

研究の動機と目的

• 非凸設定下で、滑らかでない関数と滑らかな関数の和を最小化するための一次元アルゴリズムを開発すること。
• Tseng型の前向き・後向き・前向きスキームに、慣性項と記憶効果を組み込み、収束を加速すること。
• Kurdyka-Łojasiewicz（KL）不等式に基づく収束保証を確立すること。これは、非滑らかで非凸な関数へのKL性質の一般化である。
• 近位点法の既存の慣性型手法を、近位点ステップにおける二乗ノルムの代わりにBregman距離を用いることで、非凸問題に拡張すること。
• スパース最適化や行列因子分解問題を含む重要なクラスを含む半代数的関数に対して、手法の有効性を検証すること。

提案手法

• アルゴリズムは、前向き・後向き・前向きの構造をとる：滑らかな関数の勾配による前向きステップ、Bregman近位演算子による後向きステップ、および第二の前向きステップ。
• 近位演算子における標準的な二乗ノルムの代わりにBregman距離を用いることで、非凸設定においてより柔軟な扱いが可能になる。
• 反復列の前回とその一つ前を用いて次の反復列を定義する慣性項を導入し、収束速度の向上を図る。
• 収束の証明には、三つの主要な要素を用いる：目的関数の減少量の十分性、反復差の下界としての部分勾配、および目的関数の解析的性質。
• 解析は、制限（Mordukhovich）部分勾配と正則化された目的関数におけるKL不等式に依拠する。
• 連続する反復列の差の二乗罰則を含む正則化項を導入し、KL条件が成立することを保証する。

実験結果

リサーチクエスチョン

• RQ1 非凸的で非滑らかな最適化問題に対して、慣性付きTseng型の前向き・後向き・前向きアルゴリズムは大域的収束するか？
• RQ2 慣性項と記憶効果を含めても、非凸設定下で収束が保たれる条件は何か？
• RQ3 目的関数の正則化版にKL不等式を適用した場合、アルゴリズムの収束が保証されるか？
• RQ4 二乗ノルムの代わりにBregman距離を用いることで、非凸最適化における収束にどのような影響を与えるか？
• RQ5 スパース最適化や行列因子分解を含む、スパース最適化や行列因子分解を含む、半代数的関数のような関数クラスは、収束に必要な解析的条件を満たすか？

主な発見

• 正則化された目的関数がKurdyka-Łojasiewicz不等式を満たす限り、反復列が目的関数の臨界点に大域的収束することが保証される。
• 勾配のリプシッツ連続性とBregman距離生成関数の強凸性といった、やや弱い仮定のもとで収束が確立される。
• スパース最適化問題や行列因子分解を含む半代数的関数に対しては、アルゴリズムが臨界点に収束する。
• 反復列とその慣性近似列の両方が、同じ極限点に収束し、連続する反復列の差の和が可 summable であることが示された。
• 収束速度は明示的に定量化されていないが、反復列の差の和が可 summable であるため、一般化された意味で線形収束が成立する。
• Bregman距離を用いた三段階の前向き・後向き・前向き構造を組み込んだことで、従来の慣性型前向き・後向きスキームを一般化した。