[论文解读] Projection Methods for Sparse Affine Feasibility: results and counterexamples

Robert Hesse, D. Lüke+1 more|arXiv (Cornell University)|Jul 8, 2013

Sparse and Compressive Sensing Techniques参考文献 27被引用 9

一句话总结

本文研究了在不依赖凸松弛或启发式方法的情况下，求解稀疏仿射可行性问题的投影方法。证明了交替投影法的局部线性收敛性，并表明在典型的稀疏性条件下，Douglas-Rachford 方法无法收敛，表明其不适用于渐近稀疏性优化。

ABSTRACT

Abstract. The problem of finding a vector with the fewest nonzero elements that satisfies an underdetermined system of linear equations is an NP-complete problem that is typically solved nu-merically via convex heuristics or nicely-behaved non-convex relaxations. In this work we consider elementary methods based on projections for solving a sparse feasibility problem without employing convex heuristics. We show that the fundamental method of alternating projections must converge locally linearly to a solution to the sparse feasibility problem with an affine constraint. Our analysis provides the radius of convergence and rate based on the angle of intersection of the sparsity set and the affine constraint. Under stronger assumptions on the intersection we also show local linear con-vergence, with radius of convergence, of the Douglas-Rachford algorithm. The stronger assumptions are in fact necessary for convergence of the Douglas-Rachford for affine feasibility. We show that these assumptions are not satisfied for most sparsity problems of interest, indicating that methods related to the Douglas-Rachford Algorithm, such as Alternating Directions Method of Multipliers, are not a promising algorithmic approach asymptotically for sparsity optimization.

研究动机与目标

• 分析不依赖凸松弛或启发式方法的稀疏可行性问题的投影算法。
• 确定交替投影法和 Douglas-Rachford 方法在稀疏仿射可行性问题中的收敛行为。
• 识别这些投影方法收敛的条件，特别关注集合之间的夹角等几何性质。
• 评估基于 Douglas-Rachford 的 ADMM 类方法在大规模稀疏性优化问题中的适用性。

提出的方法

• 在仿射约束集与稀疏集（子空间的并集）之间应用交替投影法。
• 将稀疏集与仿射可行性集之间的夹角作为关键几何参数，分析收敛性。
• 将 Douglas-Rachford 算法应用于同一可行性问题，基于更强的几何假设分析其收敛性。
• 基于两组之间的夹角，推导交替投影法的收敛半径和线性收敛速率。
• 使用几何与变分分析，建立收敛发生的条件，特别关注交集的结构。
• 将理论收敛特性与稀疏性问题的实际性能期望进行比较。

实验结果

研究问题

• RQ1 在何种几何条件下，交替投影法能线性收敛至稀疏仿射可行性问题的解？
• RQ2 Douglas-Rachford 算法能否保证在具有仿射约束的稀疏可行性问题中收敛？
• RQ3 稀疏集与仿射约束集之间的夹角在决定收敛速率和收敛半径方面起什么作用？
• RQ4 基于 Douglas-Rachford 的 ADMM 类方法是否在渐近意义上适用于求解稀疏可行性问题？
• RQ5 为何标准 Douglas-Rachford 收敛假设在典型的稀疏恢复场景中不成立？

主要发现

• 交替投影法以局部线性速度收敛至稀疏可行性问题的解，收敛速率与收敛半径由稀疏集与仿射约束集之间的夹角决定。
• Douglas-Rachford 算法仅在两组交集满足更强几何假设时才能实现局部线性收敛。
• 这些更强的假设在大多数实际稀疏可行性问题中不成立，表明基于 Douglas-Rachford 的方法通常不适用于此类问题。
• Douglas-Rachford 收敛假设的失效意味着 ADMM 及相关算法在稀疏性优化中不具备渐近可靠性。
• 该分析通过交角提供了收敛性的几何表征，为预测算法行为提供了定量框架。
• 结果表明，基本投影方法在无凸启发式方法的情况下仍可有效，但仅在特定几何条件下成立。