[论文解读] D3C2-Net: Dual-Domain Deep Convolutional Coding Network for Compressive Sensing

Weiqi Li, Bin Chen+5 more|arXiv (Cornell University)|Jul 27, 2022

Sparse and Compressive Sensing Techniques被引用 8

一句话总结

该论文提出D³C²-Net，一种用于压缩感知的新型双域深度卷积编码网络，通过统一图像域与卷积编码域先验，增强特征表示能力。通过将广义优化框架展开为深层网络，并在各阶段实现多通道特征传输，该方法在自然图像和磁共振（MR）图像上实现了最先进的重建精度，并在精度-复杂度权衡方面表现更优，显著优于现有方法。

ABSTRACT

By mapping iterative optimization algorithms into neural networks (NNs), deep unfolding networks (DUNs) exhibit well-defined and interpretable structures and achieve remarkable success in the field of compressive sensing (CS). However, most existing DUNs solely rely on the image-domain unfolding, which restricts the information transmission capacity and reconstruction flexibility, leading to their loss of image details and unsatisfactory performance. To overcome these limitations, this paper develops a dual-domain optimization framework that combines the priors of (1) image- and (2) convolutional-coding-domains and offers generality to CS and other inverse imaging tasks. By converting this optimization framework into deep NN structures, we present a Dual-Domain Deep Convolutional Coding Network (D3C2-Net), which enjoys the ability to efficiently transmit high-capacity self-adaptive convolutional features across all its unfolded stages. Our theoretical analyses and experiments on simulated and real captured data, covering 2D and 3D natural, medical, and scientific signals, demonstrate the effectiveness, practicality, superior performance, and generalization ability of our method over other competing approaches and its significant potential in achieving a balance among accuracy, complexity, and interpretability. Code is available at https://github.com/lwq20020127/D3C2-Net.

研究动机与目标

• 为解决现有深度展开网络（DUNs）在使用单通道图像表示时存在的特征传输受限与细节丢失问题。
• 开发一种可泛化的优化框架，整合图像域与卷积编码域先验，以约束解空间。
• 设计一种深层神经网络架构，能够在所有阶段实现高吞吐量、多通道特征表示的传输，以提升重建保真度。
• 与最先进的压缩感知方法相比，实现更高的重建精度以及更优的复杂度-精度权衡。

提出的方法

• 提出一种广义的双域优化框架，结合图像域与卷积编码域先验，以在解空间中定义更受约束的可行区域。
• 将所提出的框架展开为深层神经网络，支持以多通道特征图作为中间表示的端到端训练。
• 采用卷积编码模型，其中图像表示为卷积字典滤波器与特征图的加权和：$\mathbf{x} = \sum_{i=1}^{C} \boldsymbol{d}_i \ast \boldsymbol{\alpha}_i$，其中 $\mathbf{D} \in \mathbb{R}^{C \times k \times k}$ 且 $\boldsymbol{\alpha} \in \mathbb{R}^{C \times h \times w}$。
• 引入可学习的卷积字典 $\mathbf{D}$ 和特征图 $\boldsymbol{\alpha}$，在训练过程中联合优化，实现自适应且丰富的图像表示。
• 设计一种DUN架构，其中每个阶段处理多通道特征，保留高吞吐量的信息流，减少信息损失。
• 采用端到端训练策略，结合重建损失与正则化项，优化网络参数，包括字典与特征图。

实验结果

研究问题

• RQ1 结合图像域与卷积编码域先验的双域优化框架，是否能提升压缩感知重建的可行性与精度？
• RQ2 在深层展开网络中，各阶段的多通道特征表示如何影响重建质量与信息传输？
• RQ3 与固定或基于稀疏性的先验相比，可学习的卷积字典是否能增强图像表示与重建保真度？
• RQ4 所提出的D³C²-Net是否在精度-复杂度权衡方面优于现有最先进的基于深度学习的压缩感知方法？
• RQ5 所提出的框架是否可泛化至图像恢复之外的更广泛的逆成像任务？

主要发现

• 在30%采样率下，D³C²-Net在Set11数据集上实现44.63 dB的PSNR与0.9811的SSIM，显著优于次佳方法MADUN（PSNR高0.43 dB，SSIM高0.0015）。
• 在30%采样率下，D³C²-Net在Set11数据集上实现43.14 dB的PSNR与0.9748的SSIM，显著优于ISTA-Net+（42.65 dB / 0.9727）与MoDL（42.38 dB / 0.9705）。
• D³C²-Net中学习到的卷积字典与特征图能有效分离低频与高频分量，其中某一通道在各阶段始终保留低频内容。
• 可视化结果表明，D³C²-Net将图像表示为一个低频分量与多个高频分量之和，从而在重建过程中更好地保留细节。
• 该网络在自然图像与MR图像上均表现出优越的泛化能力与鲁棒性，在多种数据集与采样率下均实现一致的性能提升。
• 卷积字典与特征图的端到端联合训练实现了自适应、数据驱动的表示学习，超越了依赖固定或稀疏性先验的方法。