[论文解读] Infeasibility and error bound imply finite convergence of alternating projections

Roger Behling, Yunier Bello-Cruz+1 more|arXiv (Cornell University)|Aug 7, 2020

Sparse and Compressive Sensing Techniques参考文献 41被引用 11

一句话总结

本文证明，当应用于两个不相交的闭凸集时，交替投影法（MAP）在满足Lipschitz型误差界条件的情况下可实现有限收敛。令人惊讶的是，此前被视为障碍的不一致性——结合此类误差界——可确保有限收敛，即使在非多面体集合的情况下也成立，且随着集合间距离增大或误差界增强，收敛速度反而提升。

ABSTRACT

This paper combines two ingredients in order to get a rather surprising result on one of the most studied, elegant and powerful tools for solving convex feasibility problems, the method of alternating projections (MAP). Going back to names such as Kaczmarz and von Neumann, MAP has the ability to track a pair of points realizing minimum distance between two given closed convex sets. Unfortunately, MAP may suffer from arbitrarily slow convergence, and sublinear rates are essentially only surpassed in the presence of some Lipschitzian error bound, which is our first ingredient. The second one is a seemingly unfavorable and unexpected condition, namely, infeasibility. For two non-intersecting closed convex sets satisfying an error bound, we establish finite convergence of MAP. In particular, MAP converges in finitely many steps when applied to a polyhedron and a hyperplane in the case in which they have empty intersection. Moreover, the farther the target sets lie from each other, the fewer are the iterations needed by MAP for finding a best approximation pair. Insightful examples and further theoretical and algorithmic discussions accompany our results, including the investigation of finite termination of other projection methods.

研究动机与目标

• 研究当两个闭凸集不相交时，交替投影法（MAP）在不一致情形下的收敛行为。
• 确定不一致性——通常被视为不利因素——是否实际上能加速MAP的收敛。
• 确定MAP实现有限收敛（即在有限步内达到最优逼近对）的条件。
• 建立最佳逼近对误差界（BAP误差界）与MAP有限收敛之间的联系。
• 将分析扩展至其他基于投影的方法，包括循环投影法、Cimmino法以及Douglas-Rachford方法，在不一致情形下的适用性。

提出的方法

• 分析基于BAP误差界条件，该条件通过点到各集合的距离来量化其到交集的距离，尤其在最优支撑超平面的语境下。
• 在不一致性（X ∩ Y = ∅）与Lipschitz型误差界联合假设下，利用几何与变分分析技术证明有限收敛。
• 该方法利用Pierra的乘积空间重构技术，将多集合可行性问题转化为两集合问题。
• 理论结果通过正交投影的性质、切锥以及线性正规性与内在横截性等规则性概念推导得出。
• 通过分析MAP迭代序列的行为及其在每一步对BAP误差界的满足程度，研究有限终止条件。
• 使用实例与反例说明Hölder型误差界的作用，并探索有限收敛的边界条件。

实验结果

研究问题

• RQ1 在凸可行性问题中，不一致性是否可导致交替投影法的有限收敛？
• RQ2 在不一致性与误差界结合的情况下，何种条件可保证MAP的有限收敛？
• RQ3 误差界的强度（如Lipschitz型与Hölder型）如何影响不一致情形下MAP的收敛速率？
• RQ4 有限收敛在多大程度上可推广至其他基于投影的方法，如循环投影法、Cimmino法及Douglas-Rachford方法？
• RQ5 在非多面体情形下，BAP误差界与MAP序列的有限终止之间是否存在关联？

主要发现

• 当两个闭凸集不相交（即不一致）且满足Lipschitz型误差界时，MAP可实现有限收敛，即使集合为非多面体亦成立。
• 对于交集为空的多面体与超平面，BAP误差界自动满足，从而确保MAP的有限收敛。
• 实现有限收敛所需的迭代次数随集合间距离增大而减少，表明对不一致性具有有利响应。
• 改善误差界（例如使边界更陡峭）可减少所需迭代次数，如示例所示，迭代次数从10次降至3次。
• BAP误差界是MAP序列有限收敛的必要且充分条件，即有限收敛仅在所有迭代点均满足该条件时发生。
• 对于涉及二次函数或强凸函数的凸极小极大问题，若关于q=1的Hölder正则性猜想成立，则MAP可能实现有限收敛或线性收敛，表明其在非光滑优化中具有实际应用价值。