[论文解读] Convergence Analysis of Alternating Projection Method for Nonconvex Sets

Zhihui Zhu, Xiao Li|arXiv (Cornell University)|Feb 12, 2018

Sparse and Compressive Sensing Techniques参考文献 52被引用 6

一句话总结

本文通过引入半代数的、下极限连续的集合的三点性质和局部收缩性质，建立了非凸集上交替投影方法的收敛性。利用Kurdyka-Łojasiewicz（KL）不等式，证明了全局收敛至临界点，并推导出依赖于KL指数的收敛速率，恢复了凸集情况下的线性收敛结果，同时为结构化紧框架设计建立了新结果。

ABSTRACT

Alternating projection method has been used in a wide range of engineering applications since it is a gradient-free method (without requiring tuning the step size) and usually has fast speed of convergence. In this paper, we formalize two properties of proper, lower semi-continuous and semi-algebraic sets: the three-point property for all possible iterates and the local contraction property that serves as the non-expensiveness property of the projector but only for the iterates that are close enough to each other. Then by exploiting the geometric properties of the objective function around its critical point, i.e. the Kurdyka-Ł{ojasiewicz} (KL) property, we establish a new convergence analysis framework to show that if one set satisfies the three-point property and the other one obeys the local contraction property, the iterates generated by alternating projection method is a convergent sequence and converges to a critical point. We complete this study by providing convergence rate which depends on the explicit expression of the KL exponent. As a byproduct, we use our new analysis framework to recover the linear convergence rate of alternating projection method onto closed convex sets. To illustrate the power of our new framework, we provide new convergence result for a class of concrete applications: alternating projection method for designing structured tight frames that are widely used in sparse representation, compressed sensing and communication.

研究动机与目标

• 建立在标准凸分析失效的非凸、半代数集合上交替投影的全局收敛性。
• 识别几何条件——三点性质与局部收缩性质——在此条件下迭代序列收敛至临界点。
• 推导依赖于KL指数的收敛速率，将已知结果扩展至非凸设置。
• 将新框架应用于具体应用，如压缩感知与稀疏表示中的结构化紧框架设计。
• 通过以投影的局部稳定性替代唯一投影的依赖，统一并强化现有收敛保证。

提出的方法

• 引入三点性质：对于任意三个迭代点，其到解集的距离满足涉及目标函数的几何不等式。
• 定义局部收缩性质：投影算子在邻域内为非扩张，确保输入的微小变化导致输出的微小变化。
• 利用Kurdyka-Łojasiewicz（KL）不等式控制临界点附近目标函数的衰减。
• 通过结合KL性质与三点性质、局部收缩性质，界定序列变化量，从而建立收敛性。
• 通过将KL指数θ与目标函数衰减速率关联，推导收敛速率，并在特定情况下给出θ的显式表达式。
• 通过在底层集合上验证所需的几何性质，将该框架应用于结构化紧框架设计。

实验结果

研究问题

• RQ1 在非凸、半代数集合上，交替投影方法在何种几何条件下收敛至临界点？
• RQ2 当标准凸性假设不成立时，如何利用Kurdyka-Łojasiewicz（KL）不等式证明收敛性？
• RQ3 KL指数与非凸集合上交替投影方法的收敛速率之间有何关系？
• RQ4 所提出的框架能否恢复凸集上交替投影的已知线性收敛结果？在何种条件下？
• RQ5 该框架是否可扩展至实际应用，如信号处理中的结构化紧框架设计？

主要发现

• 若一个集合满足三点性质，另一个集合满足局部收缩性质，则交替投影方法全局收敛至临界点。
• 收敛速率由KL指数θ量化：当θ ∈ (0, 1/2)时为线性收敛，θ越小收敛越快。
• 该框架恢复了闭凸集上交替投影的已知线性收敛速率，验证了其通用性。
• 在结构化紧框架设计中，该方法在新框架下被证明收敛，为其经验成功提供了理论基础。
• 该分析通过在迭代点间距离的单一条件下确保完整序列收敛（而非仅子序列收敛），优于先前工作。