[论文解读] Hierarchical Regression Network for Spectral Reconstruction from RGB Images

Yuzhi Zhao, Lai-Man Po+3 more|arXiv (Cornell University)|May 10, 2020

Advanced Image Fusion Techniques参考文献 38被引用 7

一句话总结

该论文提出了一种基于PixelShuffle的层级连接、残差密集块（ResDB）和残差全局块（ResGB）的四级分层回归网络（HRNet），用于从RGB输入重建高保真度的高光谱图像。该方法在NTIRE 2020年高光谱图像从RGB图像重建挑战赛中，于真实世界图像赛道（track 2）中获得冠军，并在干净图像赛道（track 1）中排名第三。

ABSTRACT

Capturing visual image with a hyperspectral camera has been successfully applied to many areas due to its narrow-band imaging technology. Hyperspectral reconstruction from RGB images denotes a reverse process of hyperspectral imaging by discovering an inverse response function. Current works mainly map RGB images directly to corresponding spectrum but do not consider context information explicitly. Moreover, the use of encoder-decoder pair in current algorithms leads to loss of information. To address these problems, we propose a 4-level Hierarchical Regression Network (HRNet) with PixelShuffle layer as inter-level interaction. Furthermore, we adopt a residual dense block to remove artifacts of real world RGB images and a residual global block to build attention mechanism for enlarging perceptive field. We evaluate proposed HRNet with other architectures and techniques by participating in NTIRE 2020 Challenge on Spectral Reconstruction from RGB Images. The HRNet is the winning method of track 2 - real world images and ranks 3rd on track 1 - clean images. Please visit the project web page https://github.com/zhaoyuzhi/Hierarchical-Regression-Network-for-Spectral-Reconstruction-from-RGB-Images to try our codes and pre-trained models.

研究动机与目标

• 通过学习稳健的逆映射函数，解决从RGB图像进行光谱重建的病态问题。
• 通过用可学习的PixelShuffle操作替代下采样，保留传统编码器-解码器网络中丢失的空间细节。
• 通过集成残差密集块以抑制伪影和残差全局块以建模长距离上下文，增强特征表示能力。
• 通过8种设置的集成策略进行模型推理，提升泛化能力和鲁棒性。
• 在真实世界图像和干净图像基准上验证方法，证明其在光谱重建质量方面具有优越性能。

提出的方法

• HRNet采用四级分层架构，每一层通过PixelUnShuffle操作在不同尺度上处理特征，以保持空间分辨率。
• 通过可学习的PixelShuffle和PixelUnShuffle层实现跨层级的特征融合，实现信息流动且不损失空间信息。
• 使用残差密集块（ResDB）聚合具有密集感受野的特征，有效抑制真实世界RGB图像中的噪声和伪影。
• 引入残差全局块（ResGB）以建模长距离像素相关性，并扩展感受野，从而提升光谱重建性能。
• 在推理阶段应用8种设置的集成策略，以减少过拟合并提升在多样化测试图像上的泛化能力。
• 通过结合L1损失和感知损失进行端到端训练，使用Adam优化器并配合学习率调度。

实验结果

研究问题

• RQ1 具有可学习下采样和上采样操作的分层网络是否能优于基于标准自编码器的架构？
• RQ2 残差密集块和残差全局块在抑制伪影和建模长距离依赖方面，对重建质量的提升程度如何？
• RQ3 8种设置的集成策略在提升模型在多样化真实世界和干净图像分布上的泛化能力方面有多有效？
• RQ4 所提出的HRNet在压缩至更小模型尺寸后，是否仍能保持高性能以实现高效部署？
• RQ5 与标准步幅卷积相比，使用PixelShuffle作为可学习采样算子是否能显著减少信息损失？

主要发现

• HRNet在NTIRE 2020挑战赛的track 2中表现最佳，经集成后MRAE达到0.039893，赢得真实世界图像重建赛道冠军。
• 在track 1（干净图像）中，HRNet以测试集MRAE 0.06201排名第三，优于U-Net和U-ResNet基线模型。
• 消融实验表明，若同时移除ResDB和ResGB，性能显著下降，MRAE从0.042328上升至0.048033。
• 模型可压缩至原始大小的1/8（2.410 Mb），仅导致MRAE轻微增加至0.048443，仍保持可接受的保真度。
• 8种设置的集成策略将track 1的MRAE从0.042328降低至0.039893，证明其在避免局部极小值方面的有效性。
• 使用PixelShuffle和PixelUnShuffle实现了跨层级的无损特征传播，有助于更好地保留空间和光谱细节。