[论文解读] CSformer: Bridging Convolution and Transformer for Compressive Sensing

Dongjie Ye, Zhangkai Ni+4 more|arXiv (Cornell University)|Dec 31, 2021

Sparse and Compressive Sensing Techniques被引用 10

一句话总结

CSformer 提出了一种混合深度学习框架，将卷积神经网络（CNNs）与视觉变换器结合，用于压缩感知图像重建。通过采用双路茎干架构，同时包含卷积神经网络和变换器分支，并结合渐进式特征融合与基于窗口的注意力机制，CSformer 在保持高效计算的同时，实现了最先进的图像重建质量，在多个数据集和采样率下均优于现有方法。

ABSTRACT

Convolution neural networks (CNNs) have succeeded in compressive image sensing. However, due to the inductive bias of locality and weight sharing, the convolution operations demonstrate the intrinsic limitations in modeling the long-range dependency. Transformer, designed initially as a sequence-to-sequence model, excels at capturing global contexts due to the self-attention-based architectures even though it may be equipped with limited localization abilities. This paper proposes CSformer, a hybrid framework that integrates the advantages of leveraging both detailed spatial information from CNN and the global context provided by transformer for enhanced representation learning. The proposed approach is an end-to-end compressive image sensing method, composed of adaptive sampling and recovery. In the sampling module, images are measured block-by-block by the learned sampling matrix. In the reconstruction stage, the measurement is projected into dual stems. One is the CNN stem for modeling the neighborhood relationships by convolution, and the other is the transformer stem for adopting global self-attention mechanism. The dual branches structure is concurrent, and the local features and global representations are fused under different resolutions to maximize the complementary of features. Furthermore, we explore a progressive strategy and window-based transformer block to reduce the parameter and computational complexity. The experimental results demonstrate the effectiveness of the dedicated transformer-based architecture for compressive sensing, which achieves superior performance compared to state-of-the-art methods on different datasets.

研究动机与目标

• 为克服 CNN 在建模长距离依赖方面的局限性以及变换器在捕捉局部空间细节方面的不足，用于压缩感知。
• 设计一个端到端可训练的框架，联合优化自适应采样与图像重建。
• 利用 CNN（局部归纳偏置）与变换器（全局上下文建模）的互补优势，以提升表征学习能力。
• 通过基于窗口的注意力机制与渐进式特征分辨率，降低基于变换器的压缩感知方法的计算复杂度。
• 建立基于混合 CNN-Transformer 架构的深度学习压缩感知新 SOTA 基线。

提出的方法

• 该框架采用双路网络结构：一路使用卷积层以建模局部邻域关系，另一路使用视觉变换器以捕捉全局长距离依赖。
• 在多个分辨率下对两路的特征进行融合，以最大化互补表征学习。
• 采用渐进式特征精炼策略，逐步提高分辨率，从而降低内存与计算成本。
• 基于窗口的变换器模块将自注意力计算限制在局部窗口内，显著减少 FLOPs 与模型大小。
• 采样模块学习一种分块自适应采样矩阵，以优化测量获取。
• 执行端到端训练，以联合优化采样与重建阶段。

实验结果

研究问题

• RQ1 混合 CNN-Transformer 架构是否能在压缩感知图像重建中优于纯 CNN 或纯变换器模型？
• RQ2 如何在单一框架中有效结合 CNN 的局部归纳偏置与变换器的全局上下文建模能力？
• RQ3 渐进式特征融合与基于窗口的注意力机制对计算效率与重建质量有何影响？
• RQ4 与单路径变换器或仅 CNN 的模型相比，双路茎干设计在性能与泛化能力方面表现如何？
• RQ5 所提出的自适应采样策略在不同采样率下对重建保真度的提升程度如何？

主要发现

• CSformer 在所有数据集与采样率下均达到最高的 PSNR，且在 Direct Average 指标下，于 50% 采样率时较 AMP-Net 提升 1.32 dB，较 OPINE-Net 提升 1.39 dB。
• 在 Set5 数据集上，50% 压缩感知率下，CSformer 达到 43.55 dB 的 PSNR，优于 AMP-Net（42.54 dB）与 OPINE-Net（42.12 dB）。
• 尽管推理时间较高（256×256 图像为 5.0765 秒），CSformer 仍保持 6.71M 参数量，较采用双路径 CNN 的 DPA-Net（9.78M）小 30%。
• 中心核对齐分析显示，早期的变换器特征与深层 CNN 特征相似，表明变换器能早期捕捉长距离依赖，而 CNN 则依赖更深的堆叠实现此类建模。
• 中层与深层特征的融合显示出中等至微弱的相似性，证实双路茎干设计能有效平衡局部与全局表征。
• 在更大规模的 COCO 数据集上微调后，性能进一步提升，CSformer 在所有评估指标上均优于微调后的 AMP-Net 与 OPINE-Net。