[论文解读] Light Weight Residual Dense Attention Net for Spectral Reconstruction from RGB Images

D. Sabari Nathan, K Uma+3 more|arXiv (Cornell University)|Apr 15, 2020

Color Science and Applications参考文献 22被引用 13

一句话总结

该论文提出了一种轻量级残差密集注意力网络，仅使用233,059个参数即可从RGB输入重建高光谱图像。通过结合协调卷积块、双特征提取（密集和多尺度分层）以及全局特征融合，该模型在NTIRE 2020数据集上实现了0.0457的SOTA（最先进）MRAE，且计算成本极低。

ABSTRACT

Hyperspectral Imaging is the acquisition of spectral and spatial information of a particular scene. Capturing such information from a specialized hyperspectral camera remains costly. Reconstructing such information from the RGB image achieves a better solution in both classification and object recognition tasks. This work proposes a novel light weight network with very less number of parameters about 233,059 parameters based on Residual dense model with attention mechanism to obtain this solution. This network uses Coordination Convolutional Block to get the spatial information. The weights from this block are shared by two independent feature extraction mechanisms, one by dense feature extraction and the other by the multiscale hierarchical feature extraction. Finally, the features from both the feature extraction mechanisms are globally fused to produce the 31 spectral bands. The network is trained with NTIRE 2020 challenge dataset and thus achieved 0.0457 MRAE metric value with less computational complexity.

研究动机与目标

• 通过利用标准RGB图像实现光谱重建，以降低高光谱成像的高昂成本。
• 在保持高重建精度的同时降低模型复杂度，以利于实际部署。
• 通过整合密集和多尺度分层特征提取，提升特征表示能力。
• 通过采用共享权重的协调卷积块，增强空间与光谱信息的学习能力。
• 在参数极少的情况下实现高性能，同时保持低计算开销。

提出的方法

• 网络采用协调卷积块提取空间特征，两个并行的特征提取分支共享权重。
• 一个分支使用密集残差连接，以促进特征复用和梯度流动。
• 第二个分支应用多尺度分层特征提取，以捕捉多尺度的上下文信息。
• 来自两个分支的特征被全局融合，以从RGB输入重建31个光谱波段。
• 引入注意力机制，在融合过程中动态强调有信息量的特征。
• 模型使用NTIRE 2020挑战赛数据集进行端到端训练，损失函数为平均相对绝对误差（MRAE）损失。

实验结果

研究问题

• RQ1 轻量级深度学习模型能否在参数极少的情况下实现从RGB图像的高保真光谱重建？
• RQ2 密集与多尺度分层特征提取的结合在提升光谱重建精度方面有多有效？
• RQ3 协调卷积块在参数共享的前提下，对空间特征学习的增强程度如何？
• RQ4 注意力机制能否提升低参数光谱重建网络中的特征融合效果？
• RQ5 在此任务中，模型复杂度与重建性能之间的权衡关系如何？

主要发现

• 所提出的网络在NTIRE 2020数据集上实现了0.0457的平均相对绝对误差（MRAE），表现出最先进性能。
• 该模型仅包含233,059个参数，与现有方法相比显著降低了计算复杂度。
• 协调卷积块通过在双特征提取路径间共享权重，实现了高效的空间特征学习。
• 密集与多尺度分层特征的融合，显著提升了光谱与空间信息的表征能力。
• 注意力机制的引入增强了模型在重建过程中聚焦关键特征的能力。
• 该模型展现出强大的泛化能力与效率，适用于资源受限环境中的实际部署。