[论文解读] 3D Quasi-Recurrent Neural Network for Hyperspectral Image Denoising

Kaixuan Wei, Ying Fu+1 more|arXiv (Cornell University)|Mar 10, 2020

Image and Signal Denoising Methods参考文献 49被引用 5

一句话总结

该论文提出一种用于高光谱图像（HSI）去噪的3D准循环神经网络（QRNN3D），通过3D卷积联合建模结构化时空谱相关性，以及通过准循环池化函数建模全局光谱相关性（GCS）。交替方向结构消除了因果依赖关系，且无需额外计算，实现了在多种噪声类型和光谱维度下的最先进性能，并可直接从ICVL数据集迁移至遥感数据，无需微调。

ABSTRACT

In this paper, we propose an alternating directional 3D quasi-recurrent neural network for hyperspectral image (HSI) denoising, which can effectively embed the domain knowledge -- structural spatio-spectral correlation and global correlation along spectrum. Specifically, 3D convolution is utilized to extract structural spatio-spectral correlation in an HSI, while a quasi-recurrent pooling function is employed to capture the global correlation along spectrum. Moreover, alternating directional structure is introduced to eliminate the causal dependency with no additional computation cost. The proposed model is capable of modeling spatio-spectral dependency while preserving the flexibility towards HSIs with arbitrary number of bands. Extensive experiments on HSI denoising demonstrate significant improvement over state-of-the-arts under various noise settings, in terms of both restoration accuracy and computation time. Our code is available at https://github.com/Vandermode/QRNN3D.

研究动机与目标

• 为解决现有HSI去噪方法依赖手工设计先验或2D卷积所带来的灵活性或建模能力损失问题。
• 在统一的3D深度学习框架中同时建模结构化时空谱相关性与沿光谱方向的全局相关性（GCS）。
• 在不增加计算成本的前提下，消除标准RNN在HSI建模中的单向因果依赖关系。
• 开发一种可泛化至任意光谱维度HSI的模型，实现无需微调即可直接迁移至未见传感器数据。
• 在复杂真实噪声场景下实现高恢复精度与低推理时间。

提出的方法

• 核心构建模块为3D准循环单元（QRU3D），结合3D卷积用于局部时空谱特征提取，以及准循环池化函数用于全局光谱相关性建模。
• 准循环池化采用动态门控机制，基于输入特征自适应计算池化权重，从而有效捕捉所有光谱波段间的GCS。
• 引入交替方向结构，通过正向与反向处理光谱方向，消除因果依赖关系，且无额外计算开销。
• 网络架构采用编码器-解码器设计，结合QRU3D模块，支持HSI去噪的端到端训练。
• 模型通过重建损失进行端到端训练，GCS机制通过基于Frobenius范数的贡献分析进行可视化。
• 该方法对光谱维度无感，支持对未知或可变波段数HSI的直接推理。

实验结果

研究问题

• RQ1 3D深度学习架构能否同时有效建模高光谱图像中的局部时空谱相关性与全局光谱相关性（GCS）？
• RQ2 在HSI去噪中，如何在不增加计算成本的前提下消除循环建模中的因果依赖关系？
• RQ3 学习得到的、自适应的GCS建模机制能否优于固定的手工设计先验（如低秩张量）？
• RQ4 在一种HSI数据集（如ICVL）上预训练的模型，能在多大程度上泛化至具有不同光谱特性的真实遥感数据？
• RQ5 与标准双向或单向RNN相比，所提出的交替方向结构是否能在HSI任务中提升性能与灵活性？

主要发现

• QRNN3D在多个基准数据集（包括ICVL）上均实现了最先进性能，涵盖高斯噪声与复杂噪声设置。
• 在高斯噪声（σ=50）条件下，QRNN3D在ICVL数据集上的PSNR达到40.23 dB，优于当前领先方法，如表VII所示。
• 交替方向结构在无额外计算成本下实现双向上下文建模，相比标准双向RNN更具效率。
• 模型泛化能力强：在ICVL上预训练的QRNN3D可直接应用于遥感HSI数据，无需微调，而标准2D CNN难以实现此能力。
• 可视化结果表明，GCS机制能有效捕捉长程光谱依赖关系，平均每个输出波段受至少15个其他波段影响。
• 消融实验证明，3D卷积与准循环池化的结合对性能至关重要，两部分均对去噪精度有显著贡献。