[论文解读] Support Localization and the Fisher Metric for off-the-grid Sparse Regularization

Clarice Poon, Nicolas Keriven+1 more|arXiv (Cornell University)|Oct 8, 2018

Sparse and Compressive Sensing Techniques参考文献 44被引用 6

一句话总结

本文提出Fisher-Rao距离作为非网格稀疏正则化中支持定位的自然几何框架，特别针对BLASSO（Beurling-Lasso）问题。在温和的正则性和曲率条件下，即使在随机子采样观测下，也能实现稳定的支持恢复，为拉普拉斯变换反演等时变平移问题提供了首个几何感知的恢复保证。

ABSTRACT

Sparse regularization is a central technique for both machine learning (to achieve supervised features selection or unsupervised mixture learning) and imaging sciences (to achieve super-resolution). Existing performance guaranties assume a separation of the spikes based on an ad-hoc (usually Euclidean) minimum distance condition, which ignores the geometry of the problem. In this article, we study the BLASSO (i.e. the off-the-grid version of $\ell^1$ LASSO regularization) and show that the Fisher-Rao distance is the natural way to ensure and quantify support recovery, since it preserves the invariance of the problem under reparameterization. We prove that under mild regularity and curvature conditions, stable support identification is achieved even in the presence of randomized sub-sampled observations (which is the case in compressed sensing or learning scenario). On deconvolution problems, which are translation invariant, this generalizes to the multi-dimensional setting existing results of the literature. For more complex translation-varying problems, such as Laplace transform inversion, this gives the first geometry-aware guarantees for sparse recovery.

研究动机与目标

• 解决现有稀疏正则化保证中依赖人为设定的欧几里得距离条件、忽略底层几何结构的局限性。
• 为非网格压缩感知及相关问题中的支持恢复提供几何不变的框架。
• 在随机子采样观测下，建立BLASSO的稳定支持识别，即使在时变平移设置下也成立。
• 将现有超分辨率结果推广至多维反卷积，并拓展至拉普拉斯变换反演等新问题。
• 证明Fisher-Rao距离在重参数化下保持不变，使其成为稀疏测度恢复的自然度量。

提出的方法

• 将BLASSO表述为无限维Lasso问题，用于从随机线性观测中估计稀疏Radon测度。
• 使用Fisher-Rao距离作为参数流形上的内在黎曼度量，确保在重参数化下的不变性。
• 对测量核施加温和的正则性和曲率条件，以确保支持恢复的局部稳定性。
• 应用浓度不等式和随机矩阵工具（如Rademacher混沌）来界定观测模型中的噪声和相干性。
• 利用块矩阵范数和高斯与Rademacher混沌的尾部不等式，推导恢复误差的概率界。
• 证明当尖峰之间的Fisher-Rao距离超过由噪声和曲率决定的阈值时，可实现稳定的支持识别。

实验结果

研究问题

• RQ1 Fisher-Rao距离能否作为非网格稀疏正则化中支持定位的自然且不变的度量？
• RQ2 在何种几何与统计条件下，可保证BLASSO在随机子采样观测下的稳定支持恢复？
• RQ3 Fisher-Rao度量如何在超分辨率与反卷积中优于基于欧几里得距离的分离条件？
• RQ4 所提出的框架能否为时变平移问题（如拉普拉斯变换反演）提供首个几何感知的恢复保证？
• RQ5 曲率在确保在噪声和子采样观测下稀疏测度的稳定恢复中起何种作用？

主要发现

• Fisher-Rao距离被证明是支持恢复的自然度量，因其在重参数化下保持不变，并能捕捉问题的内在几何结构。
• 在温和的正则性和曲率条件下，即使在随机子采样观测下，也能实现稳定的支持识别，这在压缩感知和学习场景中具有实际意义。
• 对于去卷积等时移不变问题，该框架将现有的一维超分辨率结果推广至多维情形。
• 本文首次为拉普拉斯变换反演等时变平移问题提供了几何感知的恢复保证，而传统方法在此类问题上失效。
• 通过Rademacher混沌和矩阵浓度不等式推导出恢复误差的概率界，表明在适当的噪声和采样条件下，恢复具有高概率的稳定性。
• 当尖峰之间的Fisher-Rao距离超过与噪声水平和测量核曲率成比例的阈值时，BLASSO解能成功定位稀疏测度的真实支持。