[論文レビュー] Bregman forward-backward splitting for nonconvex composite optimization: superlinear convergence to nonisolated critical points

Masoud Ahookhosh, Andreas Themelis+1 more|arXiv (Cornell University)|May 28, 2019

Sparse and Compressive Sensing Techniques被引用数 4

ひとこと要約

本稿では、非凸な複合最適化問題に対して、非孤立な臨界点への局所的超線形収束を達成する、Bregman前向き後向き分割法であるBellaを提案する。Bregman前向き後向き包絡関数（BFBE）を活用することで、一階および二階の性質が良く、Lojasiewicz型条件の下で非線形誤差境界を満たすペナルティ関数を構築し、適切な方向選択がなされれば、グローバル収束と超線形収束率を保証する。

ABSTRACT

We introduce Bella, a locally superlinearly convergent Bregman forward-backward splitting method for minimizing the sum of two nonconvex functions, one of which satisfying a relative smoothness condition and the other one possibly nonsmooth. A key tool of our methodology is the Bregman forward-backward envelope (BFBE), an exact and continuous penalty function with favorable first- and second-order properties, and enjoying a nonlinear error bound when the objective function satisfies a Lojasiewicz-type property. The proposed algorithm is of linesearch type over the BFBE along candidate update directions, and converges subsequentially to stationary points, globally under a KL condition, and owing to the given nonlinear error bound can attain superlinear convergence rates even when the limit point is a nonisolated minimum, provided the directions are suitably selected.

研究の動機と目的

• 非凸な複合最適化において、最小値が非孤立である場合に超線形収束を達成するという課題に対処すること。
• Kurdyka-Lojasiewicz（KL）条件の下で、グローバル収束を保証するラインサーチに基づくアルゴリズムを開発すること。
• Bregman前向き後向き包絡関数（BFBE）に対して非線形誤差境界を確立し、非孤立な最小値に対しても超線形収束を可能にすること。
• 相対的滑らかさと非滑らか成分を組み込むことで、凸設定を超えたBregman法の適用範囲を拡張すること。

提案手法

• 本手法は、合成目的関数を完全に表現する正確で連続なペナルティ関数であるBregman前向き後向き包絡関数（BFBE）を採用する。
• BFBEは、一階および二階の性質が良く、ラインサーチによる効率的な勾配降下を可能にするように構築される。
• Lojasiewicz型条件の下で、BFBEに対して非線形誤差境界が導出され、これは超線形収束に不可欠である。
• アルゴリズムは、候補となる更新方向に沿ってBFBEに対してラインサーチを実行し、十分な減少を保証する。
• グローバル収束は、Kurdyka-Lojasiewicz（KL）不等式を用いて確立され、臨界点への収束が保証される。
• 適切に選択された更新方向のもとで、非孤立な臨界点に対しても超線形収束が達成される。

実験結果

リサーチクエスチョン

• RQ1 極限点が非孤立である非凸最適化において、Bregman前向き後向き法が超線形収束を達成できるか。
• RQ2 目的関数にどのような条件が課されると、Bregman前向き後向き包絡関数（BFBE）に対して非線形誤差境界が成立するか。
• RQ3 Bregman前向き後向き包絡関数をどのように活用することで、非凸設定におけるグローバル収束と高速な局所収束率を保証できるか。
• RQ4 相対的滑らかさ条件は、非凸複合問題における収束保証にどのような役割を果たすか。
• RQ5 非孤立な最小値が存在する状況下でも、BFBEに対するラインサーチがどのようにして超線形収束をもたらすか。

主な発見

• Bregman前向き後向き包絡関数（BFBE）は、正確で連続なペナルティ関数であり、一階および二階の性質が良好である。
• 目的関数がLojasiewicz型条件を満たす場合、BFBEは非線形誤差境界を満たす。
• Kurdyka-Lojasiewicz（KL）条件の下で、臨界点へのグローバル収束が保証される。
• 更新方向が適切に選択されれば、非孤立な臨界点に対しても超線形収束率が達成される。
• アルゴリズムはBFBE上でのラインサーチに基づいており、十分な減少と頑健な収束行動を保証する。
• 本手法は、一方の関数が相対的に滑らかで、もう一方が非滑らかである非凸複合問題に適用可能である。