[论文解读] Learning to Invert: Signal Recovery via Deep Convolutional Networks

Ali Mousavi, Richard G. Baraniuk|arXiv (Cornell University)|Jan 14, 2017

Sparse and Compressive Sensing Techniques参考文献 14被引用 37

一句话总结

本文提出 DeepInverse，一种深度卷积神经网络，可学习将压缩感知测量值反向映射为高质量信号重建结果。通过联合学习数据自适应的稀疏表示与高效逆映射，DeepInverse 实现了比传统算法快达 300 倍的最先进恢复性能，从而实现极低延迟的实时信号恢复。

ABSTRACT

The promise of compressive sensing (CS) has been offset by two significant challenges. First, real-world data is not exactly sparse in a fixed basis. Second, current high-performance recovery algorithms are slow to converge, which limits CS to either non-real-time applications or scenarios where massive back-end computing is available. In this paper, we attack both of these challenges head-on by developing a new signal recovery framework we call {\em DeepInverse} that learns the inverse transformation from measurement vectors to signals using a {\em deep convolutional network}. When trained on a set of representative images, the network learns both a representation for the signals (addressing challenge one) and an inverse map approximating a greedy or convex recovery algorithm (addressing challenge two). Our experiments indicate that the DeepInverse network closely approximates the solution produced by state-of-the-art CS recovery algorithms yet is hundreds of times faster in run time. The tradeoff for the ultrafast run time is a computationally intensive, off-line training procedure typical to deep networks. However, the training needs to be completed only once, which makes the approach attractive for a host of sparse recovery problems.

研究动机与目标

• 解决真实世界信号在固定基下并非精确稀疏的问题，这限制了经典压缩感知的有效性。
• 克服最先进恢复算法收敛速度慢的问题，从而限制了实时应用。
• 开发一种深度学习框架，以端到端可训练的方式同时学习信号表示与从测量值到信号的逆映射。
• 为计算资源受限或需要实时处理的应用提供快速、低延迟的信号恢复能力。
• 支持任意（非分块）测量矩阵，与先前基于分块的方法不同，使其适用于更广泛的传感场景。

提出的方法

• 训练一个深度卷积神经网络（DCN），将欠采样的测量值 y ∈ ℝᴹ 映射到重建信号 x ∈ ℝᴺ，学习压缩感知过程的逆映射。
• 网络架构采用权重共享的卷积层与 ReLU 非线性激活，以学习信号的分层、空间结构化表示。
• 网络在代表性信号数据集（如图像）上进行端到端训练，同时学习数据自适应的稀疏化基与贪婪或凸恢复算法的近似。
• 使用反向传播优化网络权重，最小化预测信号与真实信号之间的重建误差。
• 该框架设计用于处理完整信号感知矩阵，而不仅限于分块结构，从而具备更广泛的应用潜力。
• 训练仅需一次离线进行，之后推理速度极快，适合实时部署。

实验结果

研究问题

• RQ1 深度卷积网络是否能够在信号在固定基下并非精确稀疏的情况下，仍学习到有效的从压缩测量值到信号的逆映射？
• RQ2 所学习的逆映射在多大程度上能逼近最先进凸或贪婪恢复算法在压缩感知中的性能？
• RQ3 所提方法的推理速度与传统恢复算法相比如何，特别是在实时或低延迟应用场景中？
• RQ4 该学习到的恢复框架对测量噪声和不同欠采样比率的鲁棒性如何？
• RQ5 在代表性训练分布下，网络是否能跨多种信号类型泛化，而无需重新训练？

主要发现

• DeepInverse 的重建质量与 D-AMP 和总变分最小化等最先进算法相当，平均 PSNR 值与最佳方法相差仅 1–2 dB。
• 在欠采样比 M/N = 0.1 时，DeepInverse 每幅图像的平均重建时间为 0.01 秒，比 D-AMP（2.56 秒）及其他传统算法快 250–300 倍。
• 在低欠采样比下（如 M/N = 0.01），DeepInverse 在恢复成功率方面优于 D-AMP，表明在高度压缩条件下性能更优。
• DeepInverse 对输入噪声更具鲁棒性：在 20 dB 噪声下，其平均 PSNR（18.70 dB）显著高于 D-AMP（21.14 dB），表明其抗噪能力更强。
• 即使在最差情况图像上，DeepInverse 也能实现高质量重建（PSNR = 13.10 dB），而 D-AMP 的最差性能降至 13.19 dB，表明其在各类输入下表现一致。
• 训练收敛稳定，PSNR 在早期训练迭代中迅速提升，并在数个训练周期后超越总变分最小化与 P-AMP，表明优化过程高效。