[论文解读] Convergence Analysis of Alternating Nonconvex Projections.

Zhihui Zhu, Xiao Li|arXiv (Cornell University)|Feb 12, 2018

Sparse and Compressive Sensing Techniques被引用 4

一句话总结

本文通过利用Kurdyka-Lojasiewicz（KL）性质以及集合的几何特性——特别是三点性质和局部收缩性——提出了一种新颖的非凸交替投影收敛性分析框架，证明了全局收敛至临界点，并推导出依赖于KL指数的收敛速率。该框架在凸集情况下恢复了线性收敛结果，并为结构化紧框架设计建立了新的收敛结果。

ABSTRACT

We consider the convergence properties for alternating projection algorithm (a.k.a alternating projections) which has been widely utilized to solve many practical problems in machine learning, signal and image processing, communication and statistics. In this paper, we formalize two properties of proper, lower semi-continuous and semi-algebraic sets: the three point property for all possible iterates and the local contraction prop- erty that serves as the non-expensiveness property of the projector, but only for the iterates that are closed enough to each other. Then by exploiting the geometric properties of the objective function around its critical point,i.e. the Kurdyka-Lojasiewicz(KL)property, we establish a new convergence analysis framework to show that if one set satisfies the three point property and the other one obeys the local contraction property, the iterates generated by alternating projections is a convergent sequence and converges to a critical point. We complete this study by providing convergence rate which depends on the explicit expression of the KL exponent. As a byproduct, we use our new analysis framework to recover the linear convergence rate of alternating projections onto closed convex sets. To illustrate the power of our new framework, we provide new convergence result for a class of concrete applications: alternating projections for designing structured tight frames that are widely used in sparse representation, compressed sensing and communication. We believe that our new analysis framework can be applied to guarantee the convergence of alternating projections when utilized for many other nonconvex and nonsmooth sets.

研究动机与目标

• 建立一种适用于非凸、非光滑及半代数集合的交替投影的一般收敛性框架。
• 解决在非凸设置下交替投影缺乏收敛性保证的问题，特别是当集合非凸或非光滑时。
• 基于目标函数的显式KL指数表征收敛速率。
• 通过统一的非凸框架恢复并扩展已知的凸集线性收敛结果。
• 展示该框架在具体非凸问题中的适用性，例如在压缩感知和稀疏表示中设计结构化紧框架。

提出的方法

• 形式化定义适用于正规、下确界连续及半代数集合的三点性质，确保迭代过程中的几何一致性。
• 引入局部收缩性质作为仅在迭代点彼此足够接近时成立的非扩张性条件。
• 利用Kurdyka-Lojasiewicz（KL）不等式，挖掘临界点附近目标函数的局部几何结构。
• 将三点性质与局部收缩性结合KL性质，证明迭代序列全局收敛至临界点。
• 显式推导出以KL指数表示的收敛速率，提供收敛速度的定量边界。
• 将该框架应用于具体应用，如结构化紧框架设计，以在非凸设置下建立新的收敛结果。

实验结果

研究问题

• RQ1 在何种非凸集合的几何条件下，交替投影方法可收敛至临界点？
• RQ2 如何利用Kurdyka-Lojasiewicz（KL）性质分析非凸、非光滑优化问题中的收敛性？
• RQ3 三点性质与局部收缩性在确保交替投影收敛性中起什么作用？
• RQ4 所提出的框架能否恢复凸集上的已知线性收敛速率？
• RQ5 对于结构化紧框架设计等非凸应用，可建立何种收敛速率？

主要发现

• 若一个集合满足三点性质，另一个集合满足局部收缩性质，则交替投影序列全局收敛至临界点。
• 收敛速率由KL指数显式决定，KL指数越大，收敛越快。
• 该框架在凸集情况下恢复了已知的线性收敛速率。
• 为结构化紧框架设计问题建立了新的收敛结果，该问题是压缩感知和稀疏表示中的关键应用。
• 该框架为分析非凸、半代数及非光滑集合上交替投影的收敛性提供了一般性工具。
• 该分析可广泛适用于除具体考虑的应用之外的非凸和非光滑问题，为未来收敛性保证奠定了基础。