[论文解读] MTS-CSNet: Multiscale Tensor Factorization for Deep Compressive Sensing on RGB Images

Mehmet Yamac, Lei Xu+2 more|arXiv (Cornell University)|Feb 4, 2026

Sparse and Compressive Sensing Techniques被引用 0

一句话总结

MTS-CSNet 将 Multiscale Tensor Summation 作为一个可学习的、非迭代的压缩感知算子，在张量空间进行，然后通过轻量级的 MTSNet 细化以实现高效的 RGB 图像重建，达到最前沿的状态的 RGB 图像重建性能。

ABSTRACT

Deep learning based compressive sensing (CS) methods typically learn sampling operators using convolutional or block wise fully connected layers, which limit receptive fields and scale poorly for high dimensional data. We propose MTSCSNet, a CS framework based on Multiscale Tensor Summation (MTS) factorization, a structured operator for efficient multidimensional signal processing. MTS performs mode-wise linear transformations with multiscale summation, enabling large receptive fields and effective modeling of cross-dimensional correlations. In MTSCSNet, MTS is first used as a learnable CS operator that performs linear dimensionality reduction in tensor space, with its adjoint defining the initial back-projection, and is then applied in the reconstruction stage to directly refine this estimate. This results in a simple feed-forward architecture without iterative or proximal optimization, while remaining parameter and computation efficient. Experiments on standard CS benchmarks show that MTSCSNet achieves state-of-the-art reconstruction performance on RGB images, with notable PSNR gains and faster inference, even compared to recent diffusion-based CS methods, while using a significantly more compact feed-forward architecture.

研究动机与目标

• 在压缩感知约束下为高维 RGB 数据的高效重建提供动力。
• 引入一个结构化的多尺度张量算子（MTS）作为可学习的 CS 算子。
• 提供一个端到端的非迭代架构，将 MTS 采样、伴随投影回推和 MTSNet 细化结合起来。
• 与基于扩散的 CS 方法相比，展示更高的重建质量和更低的计算成本。

提出的方法

• 采用 Multiscale Tensor Summation (MTS) 作为可学习的 CS 算子，在张量空间直接执行跨多个尺度的模态投影。
• 将 MTS 定义为跨尺度的基于块的多线性投影之和，包含块嵌入和反嵌入算子。
• 在回投之前使用带有非线性 MHG 激活的伴随 MTS 以获得初步代理重建。
• 用由多个 MTSBlocks 组成的轻量级 MTSNet 进行细化，以提升重建质量。
• 以端到端的前馈方式对整条流水线进行训练，不进行迭代优化。

实验结果

研究问题

• RQ1 相比基于块的设计，多尺度张量基 CS 算子是否能更有效地捕捉全局空间及通道相关性？
• RQ2 在伴随回投中使用非线性激活是否能比线性回投改善初始重建？
• RQ3 改变 MTS 深度（T）和块数（NB）对重建质量和效率的影响？
• RQ4 在 PSNR/SSIM 和运行时间方面，MTS-CSNet 与最先进的扩散式 CS 方法相比如何？

主要发现

• MTS-CSNet 在 Urban100 和 DIV2K 基准下的多种采样率下实现了对 RGB 图像的最前沿重建。
• 48 步、3 块的变体在 PSNR/SSIM 上相较竞争方法有显著提升，在 30% 和 50% 采样率下表现最佳或接近最佳。
• 与扩散式及其他 CS 方法相比，在低 CS 比下，该模型的参数量、显存占用、GFLOPs 和推理时间显著降低。
• 伴随回投中的非线性 MHG 激活显著提升了代理重建质量。
• 增加 MTS 块数量在所有数据集上均能持续提升重建性能。
• 该方法在非迭代重建方面速度极快，同时保持竞争力或更优的精度。