[論文レビュー] Local convergence for alternating and averaged nonconvex projections

Adrian S. Lewis, D. Lüke+1 more|ArXiv.org|Sep 2, 2007

Sparse and Compressive Sensing Techniques参考文献 31被引用数 5

ひとこと要約

本稿は、強い正則性を満たす交差を前提として、交互および平均化非凸射影法の局所的線形収束を確立する。収束速度は、一方の集合が近接正則性を満たすか、類似の幾何的条件を満たす場合、正則性モジュラスによって制御されることを示している。これらの結果は、信号処理や最適化における可解性問題に実用的意義を持つ、古典的収束理論を非凸設定に拡張するものである。

ABSTRACT

The idea of a finite collection of closed sets having "strongly regular intersection" at a given point is crucial in variational analysis. We show that this central theoretical tool also has striking algorithmic consequences. Specifically, we consider the case of two sets, one of which we assume to be suitably "regular" (special cases being convex sets, smooth manifolds, or feasible regions satisfying the Mangasarian-Fromovitz constraint qualification). We then prove that von Neumann's method of "alternating projections" converges locally to a point in the intersection, at a linear rate associated with a modulus of regularity. As a consequence, in the case of several arbitrary closed sets having strongly regular intersection at some point, the method of "averaged projections" converges locally at a linear rate to a point in the intersection. Inexact versions of both algorithms also converge linearly.

研究の動機と目的

• 閉集合の交差が強く正則である場合に、非凸射影アルゴリズムの局所的線形収束を確立すること。
• メトリック正則性および近接正則性を用いて、凸から非凸設定への古典的収束結果の拡張を図ること。
• 収束が成立するためには、唯一の集合が強い幾何的正則性（例えば、凸、滑らか、または近接正則）を満たしていれば十分であることを示すこと。
• 不正確なバージョンのアルゴリズムについても線形収束が成立することを示し、実用的応用性を高めること。
• 平均化射影を用いたアルゴリズム的証明により、正確な極値原理を提示すること。

提案手法

• バナッハ空間におけるバナッハの反復法を基盤とし、積空間に再定式化することで平均化射影を分析する。
• メトリック正則性および正則性モジュラスを用いて収束速度を評価する。
• 正規凸包の定義と変分解析の道具を用い、高度な機械的道具に依存しない。
• 平均化射影法を、より高い次元の空間における2つの集合に対する等価な交互射影スキームに還元する。
• 近接正則性およびアメニタビリティを、必要な幾何的正則性の十分条件として用いる。
• ランダム行列を用いた数値実験により、圧縮センシング応用における収束行動を示す。

実験結果

リサーチクエスチョン

• RQ1 非凸可解性問題における平均化射影法が線形収束する条件は何か？
• RQ2 両方の集合が凸または近接正則である必要があるのか、あるいは片方の集合がそれらを満たせば十分なのか？
• RQ3 非凸設定において正則性モジュラスと収束速度の関係は何か？
• RQ4 射影アルゴリズムの不正確なバージョンでも線形収束が達成可能か？
• RQ5 平均化射影法は、正確な極値原理の構成的証明を提供できるか？

主な発見

• 閉集合の交差が強く正則である場合、平均化射影法は局所的に線形収束率を示し、収束速度は正則性モジュラスによって制御される。
• 片方の集合が近接正則性を満たすか、制約条件を満たしていれば、局所的線形収束が成立し、応用範囲が著しく拡張される。
• 不正確なアルゴリズムバージョンに対しても線形収束が成立し、計算誤差に対して強い耐性を持つ。
• 収束率はQ線形であり、各反復で誤差が固定係数で減少する。圧縮センシングの数値例で確認されている。
• 数値結果では、f(U_{k+1})/f(U_k) < 0.9627 が成立しており、実際の応用において強い線形収束が確認されている。
• 本手法により、変分解析における正確な極値原理の構成的アルゴリズム的証明が可能である。