[论文解读] Learned D-AMP: Principled Neural Network based Compressive Image Recovery

Christopher A. Metzler, Ali Mousavi+1 more|arXiv (Cornell University)|Apr 21, 2017

Sparse and Compressive Sensing Techniques被引用 192

一句话总结

LDAMP 将 D-AMP 算法展开为一个可训练的神经网络，使用去噪 CNN 去噪器；在所测试的矩阵上，其准确性更高且运行时间远快于 BM3D-AMP 和 NLR-CS。

ABSTRACT

Compressive image recovery is a challenging problem that requires fast and accurate algorithms. Recently, neural networks have been applied to this problem with promising results. By exploiting massively parallel GPU processing architectures and oodles of training data, they can run orders of magnitude faster than existing techniques. However, these methods are largely unprincipled black boxes that are difficult to train and often-times specific to a single measurement matrix. It was recently demonstrated that iterative sparse-signal-recovery algorithms can be "unrolled" to form interpretable deep networks. Taking inspiration from this work, we develop a novel neural network architecture that mimics the behavior of the denoising-based approximate message passing (D-AMP) algorithm. We call this new network Learned D-AMP (LDAMP). The LDAMP network is easy to train, can be applied to a variety of different measurement matrices, and comes with a state-evolution heuristic that accurately predicts its performance. Most importantly, it outperforms the state-of-the-art BM3D-AMP and NLR-CS algorithms in terms of both accuracy and run time. At high resolutions, and when used with sensing matrices that have fast implementations, LDAMP runs over $50 imes$ faster than BM3D-AMP and hundreds of times faster than NLR-CS.

研究动机与目标

• 通过将原理性迭代思想与数据驱动学习相结合，推动改进的压缩成像恢复。
• 开发一种模拟 D-AMP/D-IT 并使用可学习去噪器的神经网络架构。
• 为 LDAMP 提供训练策略和理论支持（状态演化）。
• 展示 LDAMP 在不同矩阵类型和分辨率下相对于现有方法的性能优势。

提出的方法

• 将 D-AMP/D-IT 的迭代展开为一个多层神经网络（LDAMP）。
• 在每一层中整合基于 DnCNN 的去噪器以强化自然图像先验。
• 使用 Onsager 校正以在每次迭代中维持近似 AWGN 的有效噪声。
• 仅训练跨层的去噪器权重，变体包括端到端、逐层以及逐个去噪器训练。
• 将状态演化作为一种启发式方法来预测 LDAMP 的性能。
• 与手设计方法（TVAL3）及其他基于学习的方法（BM3D-AMP、NLR-CS）进行比较。

实验结果

研究问题

• RQ1 在保持原理性行为的同时，如何将 D-AMP/D-IT 的迭代映射到可训练的神经网络层？
• RQ2 LDAMP 是否能在不同测量矩阵和噪声水平下具有泛化能力？
• RQ3 哪种训练策略（端到端、逐层、还是逐个去噪器训练）在理论上对 LDAMP 是 MMSE 最优的？
• RQ4 在精度和速度方面，LDAMP 与最先进的 CS 重建算法相比如何？
• RQ5 状态演化能否在实际中预测 LDAMP 的性能？

主要发现

• LDAMP 在 PSNR 和运行时间方面在所有测试设定中均优于 BM3D-AMP 和 NLR-CS。
• 在高斯和编码衍射测量下，LDAMP 获得更高的 PSNR，并显著快于竞争对手的运行时间（例如在高分辨率下比 BM3D-AMP 快多达 50 倍）。
• 逐层和逐个去噪器训练对 LDAMP 是 MMSE 最优的，在性能上可与端到端训练相匹配甚至超越。
• 在独立同分布的高斯 A 和噪声假设下，状态演化能准确预测 LDAMP 在各层之间的中间 MSE。
• 在使用逐个去噪器训练时，LDAMP 在一个采样率下训练的模型对其他采样率也具有良好泛化。
• LDAMP 在不同的测量矩阵和尺度下仍然有效（如 128x128 及更高分辨率），并且前向/后向算子运行快速。