[論文レビュー] A convergence framework for inexact nonconvex and nonsmooth algorithms and its applications to several iterations

Tao Sun, Hao Jiang+2 more|arXiv (Cornell University)|Sep 12, 2017

Sparse and Compressive Sensing Techniques参考文献 31被引用数 6

ひとこと要約

本稿は、不正確な非凸・非滑らか最適化アルゴリズムのための新しい収束枠組みを提案し、ノイズの有限エネルギー条件およびKurdyka-Łojasiewicz (KŁ) 性質の下で、臨界点へのグローバル収束を確立する。疑似十分降下条件、疑似相対誤差条件、および補助列を用いた連続性条件を導入することで、新たなリャプノフ関数を用いて収束を証明し、プロキシマル勾配法やADMMといった古典的アルゴリズムの不正確版への拡張を達成する。

ABSTRACT

In this paper, we consider the convergence of an abstract inexact nonconvex and nonsmooth algorithm. We promise a pseudo sufficient descent condition and a pseudo relative error condition, which are both related to an auxiliary sequence, for the algorithm; and a continuity condition is assumed to hold. In fact, a lot of classical inexact nonconvex and nonsmooth algorithms allow these three conditions. Under a special kind of summable assumption on the auxiliary sequence, we prove the sequence generated by the general algorithm converges to a critical point of the objective function if being assumed Kurdyka- Lojasiewicz property. The core of the proofs lies in building a new Lyapunov function, whose successive difference provides a bound for the successive difference of the points generated by the algorithm. And then, we apply our findings to several classical nonconvex iterative algorithms and derive the corresponding convergence results

研究の動機と目的

• 標準の降下条件および相対誤差条件を満たさない不正確な非凸・非滑らかアルゴリズムの収束枠組みの欠如に対処すること。
• ノイズの大きさがステップサイズに比例するという強い仮定を必要としない、不正確性を扱える堅牢な収束理論の構築。
• プロキシマル勾配法、ADMM、DCアルゴリズムなどの古典的アルゴリズムの不正確版への既存の収束結果の拡張。
• Kurdyka-Łojasiewicz (KŁ) 性質および可 summable ノイズ仮定の下で、臨界点への収束を確立すること。
• 非凸最適化における不正確反復の分析のための統一的理論的基盤の構築。

提案手法

• 厳密な降下条件および誤差バインディングを置き換えるために、補助列に依存する疑似十分降下条件および疑似相対誤差条件を導入する。
• 局所的最適解に収束する部分列の上での目的関数値の収束を保証する連続性条件を定義する。
• 反復の差の距離をバインドする成功する差分を持つ、新規のリャプノフ関数を構築する。
• Kurdyka-Łojasiewicz (KŁ) 性質およびノイズの有限エネルギー条件（すなわち、可 summable ノイズ）を用いて、臨界点への収束を保証する。
• 半代数的目的関数およびこれらの条件の下で、列がグローバルに臨界点に収束することを証明する。
• 具体的な不正確アルゴリズムにこの枠組みを適用し、ノイズの減衰が（例：O(1/k^α), α > 1）という緩い仮定の下で収束結果を導出する。

実験結果

リサーチクエスチョン

• RQ1 古典的な十分降下条件および相対誤差条件を満たさない不正確な非凸・非滑らかアルゴリズムに対して、収束枠組みを確立できるか？
• RQ2 不正確なアルゴリズムが生成する列が、半代数的目的関数の臨界点に収束する条件は何か？
• RQ3 プロキシマル勾配法、ADMM、DCアルゴリズムなどの古典的アルゴリズムの不正確版への収束解析をどのように拡張できるか？
• RQ4 標準的な降下条件および誤差条件が成立しない状況で、補助列が収束を保証するために果たす役割は何か？
• RQ5 ノイズがステップサイズに比例する必要がない条件下で、この枠組みは可 summable ノイズを扱えるか？

主な発見

• 提案された枠組みは、Kurdyka-Łojasiewicz (KŁ) 性質および可 summable ノイズの下で、不正確な非凸・非滑らかアルゴリズムが臨界点にグローバルに収束することを保証する。
• ノイズが O(1/k^α)（α > 1）の割合で減衰する場合、列の全長が有限である、すなわち ∑(‖x^{k+1}−x^k‖ + ‖y^{k+1}−y^k‖) < ∞ が成り立つ。
• 不正確な非凸ADMMについても、KŁ 性質および可 summable ノイズの下で収束が確立され、補助列が有界性および収束を保証する。
• この枠組みは、不正確なプロキシマル勾配法、プロキシマル交互線形最小化、重み付け再定義、DC法、ADMM法など、さまざまな不正確アルゴリズムに適用可能である。
• 反復差を制御する成功する差分を持つ新規のリャプノフ関数が構築され、厳密な降下条件や誤差条件を必要とせずに収束証明が可能になる。
• 目的関数の下方連続性および部分列の値の収束を用いて、連続性条件が検証され、部分列に沿った関数値収束が保証される。