[论文解读] An efficient CNN for spectral reconstruction from RGB images

Yiğit Baran Can, Radu Timofte|arXiv (Cornell University)|Apr 12, 2018

Advanced Image Processing Techniques参考文献 8被引用 28

一句话总结

本文提出了一种中等深度、浅层的CNN，采用残差块结构，用于从单张RGB图像进行光谱重建，在ICVL、CAVE和NUS基准上实现了最先进性能，同时保持了较低的推理时间。该模型使用7×7卷积作为跳跃连接，学习从RGB到高光谱数据的端到端映射，优于更深的网络和如A+这样的浅层方法。

ABSTRACT

Recently, the example-based single image spectral reconstruction from RGB images task, aka, spectral super-resolution was approached by means of deep learning by Galliani et al. The proposed very deep convolutional neural network (CNN) achieved superior performance on recent large benchmarks. However, Aeschbacher et al showed that comparable performance can be achieved by shallow learning method based on A+, a method introduced for image super-resolution by Timofte et al. In this paper, we propose a moderately deep CNN model and substantially improve the reported performance on three spectral reconstruction standard benchmarks: ICVL, CAVE, and NUS.

研究动机与目标

• 利用深度学习解决从低分辨率RGB输入重建高光谱分辨率的病态问题。
• 通过采用浅层但高效的CNN架构，克服因训练数据有限而导致的过拟合问题。
• 通过平衡深度与泛化能力，改进现有方法——特别是Galliani的56层Tiramisu深层网络和浅层A+方法。
• 在标准基准（ICVL、CAVE、NUS）上实现优越性能，同时保持低计算成本和快速推理。
• 证明中等深度的CNN结合残差学习，可在光谱超分率任务中超越极深和极浅模型。

提出的方法

• 提出一个6层CNN，结合残差块，用于学习从RGB到高光谱数据的映射，通过控制深度避免过拟合。
• 使用7×7卷积层作为跳跃连接，学习基础的上采样映射，作为残差捷径。
• 采用PReLU激活函数，以在负值区域引入可学习参数，提升非线性特征学习能力，优于ReLU。
• 使用Adam优化器进行训练，学习率呈衰减趋势（初始值为0.0005，每50k次迭代乘以0.93），共训练400k次迭代。
• 通过旋转（90°、180°、270°）、翻转和下采样（0.7–0.9）进行数据增强，提升训练样本多样性，每张图像生成32对增强样本。
• 采用$l_2$-损失最小化，卷积层不使用填充，通过在跳跃连接处裁剪特征图以保持空间对齐。

实验结果

研究问题

• RQ1 中等深度的CNN是否能在从RGB图像进行光谱重建的任务中，优于极深和极浅模型？
• RQ2 基于7×7跳跃连接的残差块架构是否能提升小规模光谱数据集上的泛化能力并减少过拟合？
• RQ3 网络深度、特征图数量和图像块大小的选择如何影响模型性能与训练效率？
• RQ4 数据增强与增强预测（通过旋转/翻转）是否能在不增加模型复杂度的前提下显著提升重建精度？
• RQ5 所提方法在标准基准上相较于SOTA方法（如Galliani的深层CNN和Aeschbacher的A+）的超越程度如何？

主要发现

• 所提方法在ICVL和CAVE基准上实现了最先进性能，所有指标上均显著优于Galliani的深层CNN和Aeschbacher的A+方法。
• 在更具挑战性的NUS基准上，该方法在大多数指标上也优于现有方法，表明其具备强大的泛化能力。
• 在GPU上，该模型对每张722 × 644像素的图像块的重建时间仅为0.29秒，展现出极高的推理效率。
• 默认配置（2个残差块、128个特征图、20×20图像块大小）在ICVL验证集上取得最低误差，经消融实验验证。
• 通过8视角增强预测（旋转与翻转）可提升精度，证实了推理时数据增强的有效性。
• 由于网络结构浅，通过处理更大的图像块避免了边界伪影，支持整图推理，且不受RAM限制。