[论文解读] Degradation-Aware Unfolding Half-Shuffle Transformer for Spectral Compressive Imaging

Yuanhao Cai, Jing Lin+6 more|arXiv (Cornell University)|May 20, 2022

Sparse and Compressive Sensing Techniques被引用 63

一句话总结

引入一种降解感知展开框架（DAUF）及新颖的 Half-Shuffle Transformer（HST）去噪器，提供基于 Transformer 的深度展开，用于基于 CASSI 的高光谱成像重构，在更低的计算和内存成本下达到最优性能。

ABSTRACT

In coded aperture snapshot spectral compressive imaging (CASSI) systems, hyperspectral image (HSI) reconstruction methods are employed to recover the spatial-spectral signal from a compressed measurement. Among these algorithms, deep unfolding methods demonstrate promising performance but suffer from two issues. Firstly, they do not estimate the degradation patterns and ill-posedness degree from the highly related CASSI to guide the iterative learning. Secondly, they are mainly CNN-based, showing limitations in capturing long-range dependencies. In this paper, we propose a principled Degradation-Aware Unfolding Framework (DAUF) that estimates parameters from the compressed image and physical mask, and then uses these parameters to control each iteration. Moreover, we customize a novel Half-Shuffle Transformer (HST) that simultaneously captures local contents and non-local dependencies. By plugging HST into DAUF, we establish the first Transformer-based deep unfolding method, Degradation-Aware Unfolding Half-Shuffle Transformer (DAUHST), for HSI reconstruction. Experiments show that DAUHST significantly surpasses state-of-the-art methods while requiring cheaper computational and memory costs. Code and models will be released at https://github.com/caiyuanhao1998/MST

研究动机与目标

• 通过从压缩测量中明确估计降解和病态程度，推动在编码孔径快照光谱成像（CASSI）中改进的高光谱图像重构。
• 提出一个基于 MAP 的展开框架（DAUF），通过降解感知参数自适应迭代。
• 设计一种新颖的 Half-Shuffle Transformer（HST），用作高效去噪器，以捕捉局部与非局部依赖。
• 将 DAUF 与 HST 集成，形成 DAUHST 方法，并展示其在性能与效率方面优于现有方法。

提出的方法

• 将 CASSI 降解模型表述为 y = Φx + n，并将高光谱成像重构建模为带先验 R(x) 的 MAP 优化。
• 应用半二次分裂将 x 和 z 解耦，产生迭代更新，其中对 x 的更新为闭式解，利用类似 Sherman–Mittag–Wishart 的逆运算，适应于 ΦΦ^T 为对角的情形。
• 引入在每个阶段从 y 和 Φ 估计的迭代特定降解参数 α 和 β，以调节线性投影和去噪强度。
• 开发一个带有 HS-MSA 的 Half-Shuffle Transformer（HST）去噪器，将局部窗口自注意力与通过 token shuffle 的跨窗口非本地交互结合，以低于全局注意力成本实现接近全局的依赖。
• 将 HST 嵌入到 DAUF 的每次迭代中，实现端到端训练，同时保持与成像模型相关的可解释性。

实验结果

研究问题

• RQ1 如何从压缩的 CASSI 测量中估计降解模式和病态程度，以指导迭代重建？
• RQ2 在 CASSI 下的深度展开中，基于 Transformer 的去噪器是否能超越 CNN 基于先验？
• RQ3 引入降解感知参数估计对重建质量和效率有何影响？
• RQ4 在该任务中，Half-Shuffle Transformer 相较于标准的全局或局部 Transformer 是否提供有利的精度-成本权衡？

主要发现

• DAUHST 在仿真场景中显著优于现有的展开方法，在相似或更低的计算成本下实现大量的 PSNR/SSIM 改进。
• 降解感知参数估计器（E）在每次迭代中有效告知 CASSI 系统的降解模式，指导线性投影和去噪强度的自适应缩放。
• 带有 HS-MSA 的 Half-Shuffle Transformer（HST）比替代的 MSAs 更好地捕捉局部和非局部依赖，带来在定量指标和视觉质量上的显著改进。
• DAUHST 对噪声和真实数据条件显示出强鲁棒性，在仿真和真实 SCI 实验中提供更清晰的高光谱成像，具有更丰富的光谱保真度。