[论文解读] Binarized Spectral Compressive Imaging

Yuanhao Cai, Yuxin Zheng+4 more|arXiv (Cornell University)|May 17, 2023

Sparse and Compressive Sensing Techniques被引用 9

一句话总结

BiSRNet 将紧凑基模型二值化以用于快照压缩成像中的高光谱图像重建，使用新颖的二值化光谱重新分配卷积和四个二值化模块来保持全精度信息流并在二值化方法中实现最先进的结果。

ABSTRACT

Existing deep learning models for hyperspectral image (HSI) reconstruction achieve good performance but require powerful hardwares with enormous memory and computational resources. Consequently, these methods can hardly be deployed on resource-limited mobile devices. In this paper, we propose a novel method, Binarized Spectral-Redistribution Network (BiSRNet), for efficient and practical HSI restoration from compressed measurement in snapshot compressive imaging (SCI) systems. Firstly, we redesign a compact and easy-to-deploy base model to be binarized. Then we present the basic unit, Binarized Spectral-Redistribution Convolution (BiSR-Conv). BiSR-Conv can adaptively redistribute the HSI representations before binarizing activation and uses a scalable hyperbolic tangent function to closer approximate the Sign function in backpropagation. Based on our BiSR-Conv, we customize four binarized convolutional modules to address the dimension mismatch and propagate full-precision information throughout the whole network. Finally, our BiSRNet is derived by using the proposed techniques to binarize the base model. Comprehensive quantitative and qualitative experiments manifest that our proposed BiSRNet outperforms state-of-the-art binarization methods and achieves comparable performance with full-precision algorithms. Code and models are publicly available at https://github.com/caiyuanhao1998/BiSCI and https://github.com/caiyuanhao1998/MST

研究动机与目标

• 在快照压缩成像（SCI）中为资源受限设备的高效 HSI 重建提供动机。
• 设计一个紧凑、可二值化的基础模型，适合边缘部署。
• 开发 BiSR-Conv 以在二值化前调整光谱表示并更好地逼近符号函数。
• 创建四个二值化卷积模块，在维度变化下仍能保持全精度信息流。
• 证明 BiSRNet 在二值化方法中超越最先进的方法，并在 HSI 重建方面接近或匹敌全精度 CNN。

提出的方法

• 提出一个紧凑的 U 形基模型（编码器–瓶颈–解码器）用于二值化，在 28 个光谱通道上运行。
• 引入带光谱重新分配 X_r = k * X_f + b 的 BiSR-Conv，在符号化二值化之前进行。
• 在反向传播过程中使用可缩放的双曲正切函数 Tanh(αx) 以更接近 Sign 的替代物，且 α 可学习。
• 引入旁路残差路径，通过基于 RPReLU 的融合在二值化层之间传播全精度信息。
• 构建四个二值化模块（下采样、上采样、下融合、上融合）以在减小维度时缓解维度不匹配，同时保留全精度信息流的恒等映射。
• 通过将标准卷积替换为 BiSR-Conv 并对基模型的 E、B、D 应用四个二值化模块来实现整个网络的二值化。

实验结果

研究问题

• RQ1 一个二值网络是否能在边缘设备上在不显著降低准确度的前提下高效地从压缩 SCI 测量中重建 HSI 立方体？
• RQ2 如何在二值化框架中适应带宽带的光谱密度变化？
• RQ3 可缩放的类似 Sigmoid 的操作符（Tanh(αx)）在二值化光谱成像 context 中是否提供更好的反向传播替代 Sign？
• RQ4 如何处理下采样/上采样中的维度不匹配，以在二值化 HSI 网络中保持全精度信息流？
• RQ5 BiSRNet 与最先进的二值化网络和全精度 CNN 在 HSI 重建任务中的比较如何？

主要发现

Bit	类别	参数（K）	运算量 (G)	S1 峰值信噪比	S1 结构相似性	S2 峰值信噪比	S2 结构相似性	S3 峰值信噪比	S3 结构相似性	S4 峰值信噪比	S4 结构相似性	S5 峰值信噪比	S5 结构相似性	S6 峰值信噪比	S6 结构相似性	S7 峰值信噪比	S7 结构相似性	S8 峰值信噪比	S8 结构相似性	S9 峰值信噪比	S9 结构相似性	S10 峰值信噪比	S10 结构相似性	平均峰值信噪比	平均结构相似性
1	BNN	36	1.18	30.95	0.847	29.21	0.791	29.11	0.828	35.91	0.903	28.19	0.827	30.22	0.863	27.85	0.800	29.46	0.832	27.88	0.800	29.76	0.837

• BiSRNet 在仿真测试中显著优于最先进的二值化神经网络。
• BiSRNet 的性能可与基于全精度 CNN 的方法相比拟，同时在内存和计算方面显著降低。
• 带光谱重新分配和可缩放 Tanh(αx) 的 BiSR-Conv 单元在与 Clip/Quad 近似相比时显著提升了 PSNR/SSIM。
• 四个二值化模块（下采样、上采样、下融合、上融合）使层间可以无阻塞地传递全精度信息流，缓解维度不匹配问题。
• 消融研究表明 BiSR-Conv 与光谱重新分配再加 Tanh(αx) 的组合带来最大性能提升（如相比基线，PSNR 提高可达约 3.0 dB）。
• 在 KAIST 的真实/模拟数据上，BiSRNet 超越了七个 1 位 BNN 方法的 PSNR/SSIM，并在许多场景接近或匹配 32 位方法。
• 该方法需要极少的额外参数且维持较低的运算，具备潜在的移动端部署能力。