[论文解读] Compressed Sensing with Nonlinear Observations and Related Nonlinear Optimisation Problems

Thomas Blumensath|arXiv (Cornell University)|May 8, 2012

Sparse and Compressive Sensing Techniques参考文献 9被引用 14

一句话总结

本文通过证明当非线性映射的雅可比矩阵满足受限等距性质（RIP）时，迭代硬阈值化（IHT）算法可从少量非线性测量中恢复稀疏或结构化信号，将压缩感知推广至非线性观测模型。主要贡献在于在类似线性压缩感知框架的条件下建立了理论恢复保证，其误差界与线性情况相近。

ABSTRACT

Non-convex constraints have recently proven a valuable tool in many optimisation problems. In particular sparsity constraints have had a significant impact on sampling theory, where they are used in Compressed Sensing and allow structured signals to be sampled far below the rate traditionally prescribed. Nearly all of the theory developed for Compressed Sensing signal recovery assumes that samples are taken using linear measurements. In this paper we instead address the Compressed Sensing recovery problem in a setting where the observations are non-linear. We show that, under conditions similar to those required in the linear setting, the Iterative Hard Thresholding algorithm can be used to accurately recover sparse or structured signals from few non-linear observations. Similar ideas can also be developed in a more general non-linear optimisation framework. In the second part of this paper we therefore present related result that show how this can be done under sparsity and union of subspaces constraints, whenever a generalisation of the Restricted Isometry Property traditionally imposed on the Compressed Sensing system holds.

研究动机与目标

• 将压缩感知理论从线性观测模型推广至非线性观测模型。
• 研究当观测为非线性时，迭代硬阈值化是否可用于信号恢复。
• 建立充分条件——具体而言，对Φ(x)的雅可比矩阵施加受限等距性质（RIP）——以实现对稀疏或结构化信号的稳定且精确的恢复。
• 将该框架推广至具有结构化约束（如子空间并集）的一般非凸优化问题。
• 分析IHT在非线性环境下的理论性能，并与凸松弛法和贪婪方法进行比较。

提出的方法

• 提出一种非线性压缩感知模型，其中观测通过非线性映射生成：y = Φ(x) + e，其中Φ为非线性函数。
• 通过使用类似梯度的更新步骤并结合硬阈值化以保持稀疏性或结构，将迭代硬阈值化（IHT）算法适配至非线性设置。
• 引入Φ(x)的雅可比矩阵的受限等距性质（RIP）条件，要求雅可比矩阵将稀疏向量的范数保持在有界失真范围内。
• 在雅可比矩阵-RIP条件下，建立IHT在非线性设置下的恢复误差界，表明误差与信号的最佳k项逼近误差及噪声水平成正比。
• 将框架推广至非凸约束（如子空间并集），其中假设信号位于多个线性子空间之一上。
• 分析受限严格凸性作为一般非线性优化中收敛性的替代条件，尽管表明其在一般非线性压缩感知中过于严格，除非Φ为仿射函数，否则不具普遍适用性。

实验结果

研究问题

• RQ1 迭代硬阈值化算法能否成功应用于非线性观测下的压缩感知信号恢复？
• RQ2 在何种条件下，可保证对稀疏或结构化信号的稳定且精确的恢复？
• RQ3 对Φ(x)的雅可比矩阵施加受限等距性质是否足以确保恢复性能与线性压缩感知情况相当？
• RQ4 非线性压缩感知理论与具有结构化约束的一般非凸优化之间有何关联？
• RQ5 受限严格凸性是否可作为雅可比矩阵-RIP的可行替代条件，以确保非线性优化中的收敛性与准确性？

主要发现

• 当测量映射的雅可比矩阵满足受限等距性质时，迭代硬阈值化算法可从非线性观测中恢复稀疏或结构化信号。
• 恢复误差受一个与信号最佳k项逼近误差和噪声水平成正比的项限制，常数仅依赖于等距常数δ。
• 雅可比矩阵-RIP条件被证明是非线性压缩感知中稳定恢复的充分条件，与线性情况类似。
• 受限严格凸性虽足以保证一般非凸优化中的收敛性，但在希尔伯特空间中，除非Φ在子空间上为仿射函数，否则对非仿射Φ不成立，限制了其普遍适用性。
• 该框架可推广至稀疏性之外的场景，如子空间并集，涵盖低秩矩阵和结构化稀疏等模型。
• 理论结果得到支持：只要满足雅可比矩阵-RIP条件，IHT算法在非线性设置下的误差界与线性情况相似。