[论文解读] Alternating projections on non-tangential manifolds

Фредрик Андерссон, Marcus Carlsson|arXiv (Cornell University)|Jul 8, 2011

Advanced Numerical Analysis Techniques参考文献 15被引用 5

一句话总结

本文在希尔伯特空间中建立了两个非横截 $ C^1_{\text{Lip}} $ 流形之间交替投影的收敛性与逼近界，证明极限点与 $ \|B_0 - B_{\text{opt}}\| $ 的相对距离极小，显著优于以往结果。该框架适用于非凸、非线性流形，并在较弱的几何条件下提供了定量误差估计。

ABSTRACT

We consider sequences $(B_k)_{k=0}^\infty$ of points obtained by projecting back and forth between two manifolds $\M_1$ and $\M_2$, and give conditions guaranteeing that the sequence converge to a limit $B_\infty\in\M_1\cap\M_2$. Our motivation is the study of algorithms based on finding the limit of such sequences, which have proven useful in a number of areas. The intersection is typically a set with desirable properties, but for which there is no efficient method of finding the closest point $B_{opt}$ in $\M_1\cap\M_2$. We prove not only that the sequence of alternating projections converges, but that the limit point is fairly close to $B_{opt}$, in a manner relative to the distance $\|B_0-B_{opt}\|$, thereby significantly improving earlier results in the field. A concrete example with applications to frequency estimation of signals is also presented.

研究动机与目标

• 建立交替投影在两个非横截流形之间收敛至其交集中某一点的条件。
• 量化交替投影序列的极限点与交集中真实最近点之间的接近程度，相对于初始距离。
• 将冯·诺依曼关于仿射子空间的经典结果推广至光滑性要求最低的非线性、非凸流形。
• 为信号处理、矩阵填充和低秩逼近中使用的交替投影算法提供理论基础。
• 解决现有方法仅依赖赞威尔定理时缺乏收敛速率与逼近质量保证的问题。

提出的方法

• 通过 $ B_{k+1} = \pi_1(B_k) $（当 $ k $ 为偶数时），$ \pi_2(B_k) $（当 $ k $ 为奇数时）定义交替投影，其中 $ \pi_j $ 表示到流形 $ \mathcal{M}_j $ 的正交投影。
• 引入非横截流形的概念，要求在交点处满足横截性：对所有 $ A \in \mathcal{M}_1 \cap \mathcal{M}_2 $，有 $ T_{\mathcal{M}_1}(A) + T_{\mathcal{M}_2}(A) = \mathcal{K} $。
• 在每个交点 $ A $ 附近引入局部邻域结构，其中 $ \mathcal{B}(A, s_A) $ 确保在半径 $ s_A > 0 $ 内收敛，该结果源自定理 6.1。
• 建立定量界：$ \|B_\infty - \pi(B)\| \leq \epsilon \|B_0 - \pi(B)\| $，其中 $ \epsilon $ 依赖于流形的几何与光滑性。
• 将该框架应用于涉及指数和的频率估计问题，采用加权 $ \ell^2 $-范数与希尔伯特-施密特投影。
• 通过白噪声与指数和扰动的仿真，实证验证理论界，估计 $ \varepsilon(g,n) = \|f_\infty - g\|_w / \|n\|_w $。

实验结果

研究问题

• RQ1 在何种几何与光滑性条件下，两个非线性流形之间的交替投影会收敛至其交集中的某一点？
• RQ2 交替投影序列的极限点与交集中真实最近点之间的接近程度，相对于初始距离如何？
• RQ3 能否在不依赖横截性或强凸性的情况下，为非凸、非横截流形建立收敛性与逼近误差界？
• RQ4 理论界中扰动大小 $ s $ 与逼近误差 $ \epsilon $ 之间的关系为何？
• RQ5 当出现切向交点时，交替投影方法是否仍能在代数流形上收敛？

主要发现

• 在非横截性与 $ C^1_{\text{Lip}} $ 光滑性假设下，交替投影序列收敛至 $ B_\infty \in \mathcal{M}_1 \cap \mathcal{M}_2 $ 中的某一点。
• 极限点满足 $ \|B_\infty - \pi(B)\| \leq \epsilon \|B_0 - \pi(B)\| $，其中 $ \epsilon $ 为依赖于流形几何的极小常数，显著优于以往结果。
• 收敛具有鲁棒性：即使初始点不在交集的邻域内，只要流形是非横截的且足够光滑，序列仍收敛。
• 实证结果表明 $ \epsilon \approx \sigma $，其中 $ \sigma $ 为噪声水平，提示在实际场景中 $ \epsilon $ 与扰动大小呈线性关系。
• 该框架适用于真实世界问题，如从含噪指数和中进行频率估计，其中 $ \pi $ 不可计算，但 $ \pi_1, \pi_2 $ 可计算。
• 作者推测，对于代数流形，即使不满足非横截性，收敛性仍成立，但该结论尚未被证明。