[論文レビュー] Convergence Analysis of Alternating Projection Method for Nonconvex Sets

Zhihui Zhu, Xiao Li|arXiv (Cornell University)|Feb 12, 2018

Sparse and Compressive Sensing Techniques参考文献 52被引用数 6

ひとこと要約

本稿では、半代数的かつ下半連続な集合に対して、三重点性質と局所収縮性質を導入することで、非凸集合に対する交互射影法の収束を確立する。Kurdyka-Łojasiewicz (KL) 不等式を活用し、臨界点へのグローバル収束を証明するとともに、KL指数に依存する収束速度を導出。凸集合の線形収束を回復し、圧縮センシングやスパース表現における構造的タイトフレーム設計の新規結果を確立する。

ABSTRACT

Alternating projection method has been used in a wide range of engineering applications since it is a gradient-free method (without requiring tuning the step size) and usually has fast speed of convergence. In this paper, we formalize two properties of proper, lower semi-continuous and semi-algebraic sets: the three-point property for all possible iterates and the local contraction property that serves as the non-expensiveness property of the projector but only for the iterates that are close enough to each other. Then by exploiting the geometric properties of the objective function around its critical point, i.e. the Kurdyka-Ł{ojasiewicz} (KL) property, we establish a new convergence analysis framework to show that if one set satisfies the three-point property and the other one obeys the local contraction property, the iterates generated by alternating projection method is a convergent sequence and converges to a critical point. We complete this study by providing convergence rate which depends on the explicit expression of the KL exponent. As a byproduct, we use our new analysis framework to recover the linear convergence rate of alternating projection method onto closed convex sets. To illustrate the power of our new framework, we provide new convergence result for a class of concrete applications: alternating projection method for designing structured tight frames that are widely used in sparse representation, compressed sensing and communication.

研究の動機と目的

• 標準的な凸解析が失敗する非凸で半代数的集合に対して、交互射影法のグローバル収束を確立すること。
• 反復列が臨界点に収束するための幾何的条件として、三重点性質と局所収縮性質を同定すること。
• KL指数に依存する収束速度を導出し、既知の結果を非凸設定に拡張すること。
• 圧縮センシングやスパース表現における構造的タイトフレーム設計といった具体的応用に、新フレームワークを適用すること。
• 一意な射影に依存するのではなく、射影の局所的安定性に置き換えることで、既存の収束保証を統合・強化すること。

提案手法

• 三重点性質の導入：任意の三つの反復点に対して、解集合への距離が目的関数を含む幾何的不等式を満たすことを定義する。
• 局所収縮性質の定義：近傍において射影が非拡大性を満たし、入力の小さな変化が出力の小さな変化にしか与えないことを保証する。
• 臨界点付近での目的関数の減衰を制御するために、Kurdyka-Łojasiewicz (KL) 不等式を用いる。
• KL性質と三重点性質・局所収縮性質を組み合わせ、列の変動をバウンディングすることで収束を確立する。
• KL指数 θ と目的関数の減衰率との関係を関係づけ、特定の状況での明示的表現を導出することで収束速度を導出する。
• 構造的タイトフレーム設計への応用において、基礎となる集合上での必要な幾何的性質を満たすことを確認することで、フレームワークを適用する。

実験結果

リサーチクエスチョン

• RQ1 非凸で半代数的集合に対して、交互射影法が臨界点に収束するための幾何的条件は何か？
• RQ2 標準的な凸性仮定が成り立たない状況で、Kurdyka-Łojasiewicz (KL) 不等式はどのようにして収束を証明するために活用できるか？
• RQ3 KL指数と非凸集合に対する交互射影法の収束速度の関係は何か？
• RQ4 提案フレームワークは、閉凸集合上での既知の線形収束結果を回復できるか？また、どのような条件下で可能か？
• RQ5 このフレームワークは、信号処理分野における構造的タイトフレーム設計といった実用的応用に拡張可能か？

主な発見

• 一方の集合が三重点性質を満たし、他方が局所収縮性質を満たす場合、交互射影法はグローバルに臨界点に収束する。
• 収束速度はKL指数 θ で定量化され、θ ∈ (0, 1/2) のとき線形収束が成立し、θ が小さいほど速い収束が得られる。
• 本フレームワークは、閉凸集合上での既知の線形収束率を回復し、その一般性を検証する。
• 構造的タイトフレーム設計において、本フレームワークのもとで収束性が証明され、その実験的成功の理論的基盤が提供される。
• 反復点間の距離に関する単一の条件の下で、従来の研究より完全な列収束（部分列収束にとどまらない）を保証することで、分析を向上させる。