[论文解读] AdaptiveWeighted Attention Network with Camera Spectral Sensitivity Prior for Spectral Reconstruction from RGB Images

Jiaojiao Li, Chaoxiong Wu+3 more|arXiv (Cornell University)|May 19, 2020

Advanced Image Fusion Techniques参考文献 33被引用 13

一句话总结

该论文提出了一种自适应加权注意力网络（AWAN），用于从RGB图像进行光谱重建，结合了相机光谱响应（CSS）先验和新颖的注意力机制。通过采用双重残差学习、自适应加权通道注意力（AWCA）以及基于图像块的二阶非局部模块，AWAN提升了特征表示能力和重建精度，在NTIRE 2020年“Clean”赛道中获得第一名，在“Real World”赛道中获得第三名。

ABSTRACT

Recent promising effort for spectral reconstruction (SR) focuses on learning a complicated mapping through using a deeper and wider convolutional neural networks (CNNs). Nevertheless, most CNN-based SR algorithms neglect to explore the camera spectral sensitivity (CSS) prior and interdependencies among intermediate features, thus limiting the representation ability of the network and performance of SR. To conquer these issues, we propose a novel adaptive weighted attention network (AWAN) for SR, whose backbone is stacked with multiple dual residual attention blocks (DRAB) decorating with long and short skip connections to form the dual residual learning. Concretely, we investigate an adaptive weighted channel attention (AWCA) module to reallocate channel-wise feature responses via integrating correlations between channels. Furthermore, a patch-level second-order non-local (PSNL) module is developed to capture long-range spatial contextual information by second-order non-local operations for more powerful feature representations. Based on the fact that the recovered RGB images can be projected by the reconstructed hyperspectral image (HSI) and the given CSS function, we incorporate the discrepancies of the RGB images and HSIs as a finer constraint for more accurate reconstruction. Experimental results demonstrate the effectiveness of our proposed AWAN network in terms of quantitative comparison and perceptual quality over other state-of-the-art SR methods. In the NTIRE 2020 Spectral Reconstruction Challenge, our entries obtain the 1st ranking on the Clean track and the 3rd place on the Real World track. Codes are available at https://github.com/Deep-imagelab/AWAN.

研究动机与目标

• 通过引入领域特定先验来解决从RGB图像进行光谱重建的病态问题。
• 通过建模中间特征中的长程空间依赖和通道间依赖，提升特征表示能力。
• 通过将相机光谱响应（CSS）先验作为细粒度约束，提升重建精度。
• 开发一种深度学习架构，使其在定量指标和感知质量方面均优于现有的基于CNN的方法。
• 在基准数据集上实现最先进性能，特别是在具有挑战性的现实世界场景中。

提出的方法

• AWAN的主干网络由多个带有长连接和短连接的双重残差注意力模块（DRAB）组成，以实现双重残差学习并保留低频信息。
• 引入自适应加权通道注意力（AWCA）模块，利用自适应加权统计量而非固定池化来重新校准通道特征响应。
• 通过在特征图块之间计算二阶统计量，基于图像块的二阶非局部（PSNL）模块捕捉长程空间上下文。
• 通过强制重建的HSI与已知CSS函数生成的RGB图像之间保持一致性，将相机光谱响应（CSS）先验融入模型。
• 采用多损失训练策略，结合MRAE损失和基于CSS的重建损失，以优化光谱精度。
• 应用模型集成和自集成技术，进一步提升测试集上的性能。

实验结果

研究问题

• RQ1 将相机光谱响应（CSS）先验整合是否能提升从RGB图像进行光谱重建的准确性？
• RQ2 与标准注意力机制相比，自适应加权通道注意力（AWCA）在建模通道间依赖方面效果如何？
• RQ3 基于图像块的二阶非局部（PSNL）模块在光谱重建中对长程空间特征表示的增强程度如何？
• RQ4 所提出的AWAN架构是否能在定量指标和感知质量方面均优于现有的最先进方法？
• RQ5 CSS先验与多损失训练的结合在现实世界光谱重建场景中的鲁棒性影响如何？

主要发现

• 所提出的AWAN在NTIRE 2020年光谱重建挑战赛的“Clean”赛道中获得第一名，优于所有其他参赛方法。
• 在“Real World”赛道中，AWAN获得第三名，平均相对绝对误差（MRAE）为1.59106×10⁻⁴，仅比排名第一的方法高出1.59106×10⁻⁴。
• 与基线网络相比，AWCA模块在“Clean”赛道上将MRAE降低了5.0%，在“Real World”赛道上降低了2.2%。
• 通过联合损失函数整合CSS先验，在消融实验中显示出可测量的重建精度提升，MRAE降低了3.5%。
• PSNL模块显著增强了特征表示能力，当与AWCA结合时，进一步提升了性能。
• 视觉结果和光谱响应曲线表明，AWAN生成的高光谱重建结果在准确性和视觉保真度方面均优于对比方法。