[論文レビュー] Convergence Analysis of Alternating Nonconvex Projections.

Zhihui Zhu, Xiao Li|arXiv (Cornell University)|Feb 12, 2018

Sparse and Compressive Sensing Techniques被引用数 4

ひとこと要約

本稿は、Kurdyka-Lojasiewicz (KL) 性質と集合の幾何的性質（特に三重点性質と局所収縮性）を活用することで、非凸な交互射影に対する包括的な収束解析フレームワークを提案する。このフレームワークにより、臨界点へのグローバル収束が示され、KL指数に依存する収束速度の導出も可能となる。本フレームワークは凸集合に対する線形収束を回復し、圧縮センシングやスパース表現における構造的タイトフレーム設計という応用分野において、新たな収束結果を確立する。

ABSTRACT

We consider the convergence properties for alternating projection algorithm (a.k.a alternating projections) which has been widely utilized to solve many practical problems in machine learning, signal and image processing, communication and statistics. In this paper, we formalize two properties of proper, lower semi-continuous and semi-algebraic sets: the three point property for all possible iterates and the local contraction prop- erty that serves as the non-expensiveness property of the projector, but only for the iterates that are closed enough to each other. Then by exploiting the geometric properties of the objective function around its critical point,i.e. the Kurdyka-Lojasiewicz(KL)property, we establish a new convergence analysis framework to show that if one set satisfies the three point property and the other one obeys the local contraction property, the iterates generated by alternating projections is a convergent sequence and converges to a critical point. We complete this study by providing convergence rate which depends on the explicit expression of the KL exponent. As a byproduct, we use our new analysis framework to recover the linear convergence rate of alternating projections onto closed convex sets. To illustrate the power of our new framework, we provide new convergence result for a class of concrete applications: alternating projections for designing structured tight frames that are widely used in sparse representation, compressed sensing and communication. We believe that our new analysis framework can be applied to guarantee the convergence of alternating projections when utilized for many other nonconvex and nonsmooth sets.

研究の動機と目的

• 非凸的・非滑らかで代数的半代数的集合への交互射影の一般収束フレームワークを確立すること。
• 集合が凸的でないか滑らかでない場合に、特に非凸設定下で交互射影の収束保証が欠如している問題に対処すること。
• 目的関数の明示的なKL指数に基づいて収束速度を特徴づけること。
• 統一的な非凸フレームワークを用いて、既知の凸集合に対する線形収束結果を回復・拡張すること。
• 本フレームワークの実用的適用可能性を、圧縮センシングやスパース表現における構造的タイトフレーム設計といった具体的な非凸問題に示すこと。

提案手法

• 適切で下半連続的かつ半代数的集合に対して三重点性質を形式化し、反復の間で幾何的整合性を保証すること。
• 反復が互いに十分に近い場合にのみ成り立つ非拡大性条件としての局所収縮性質を導入すること。
• 臨界点付近の目的関数の局所的幾何構造を活用するため、Kurdyka-Lojasiewicz (KL) 不等式を用いること。
• 三重点性質と局所収縮性質をKL性質と組み合わせ、反復が臨界点にグローバルに収束することを証明すること。
• KL指数に基づいて明示的な収束速度を導出し、収束速度の定量的バウンドを提供すること。
• 具体的応用（例：構造的タイトフレーム設計）に本フレームワークを適用し、非凸設定下での新たな収束結果を確立すること。

実験結果

リサーチクエスチョン

• RQ1 非凸集合に対して、交互射影法が臨界点に収束するための幾何的条件は何か？
• RQ2 Kurdyka-Lojasiewicz (KL) 性質は、非凸的・非滑らか最適化問題の収束解析にどのように活用できるか？
• RQ3 三重点性質と局所収縮性質は、交互射影の収束を保証するために果たす役割は何か？
• RQ4 提案フレームワークは、凸集合に対する既知の線形収束速度を回復できるか？
• RQ5 構造的タイトフレーム設計のような非凸応用分野において、どのような収束速度を確立できるか？

主な発見

• 一方の集合が三重点性質を満たし、他方が局所収縮性質を満たす場合、交互射影列はグローバルに臨界点に収束する。
• 収束速度はKL指数に明示的に依存し、KL指数が大きいほど収束が速くなる。
• 本フレームワークは、閉凸集合への交互射影に対する既知の線形収束速度を回復する。
• 圧縮センシングやスパース表現における重要な応用分野である構造的タイトフレーム設計問題について、新たな収束結果が確立される。
• 本フレームワークは、非凸的・半代数的・非滑らか集合への交互射影の収束解析に一般化可能なツールを提供する。
• 本分析は、具体的に検討された応用を超えて、非凸的・非滑らか問題に広く適用可能であり、将来的な収束保証の基盤を提供する。