[论文解读] Mixed Attention Network for Hyperspectral Image Denoising

Zeqiang Lai, Ying Fu|arXiv (Cornell University)|Jan 27, 2023

Image and Signal Denoising Methods被引用 7

一句话总结

本文提出了一种混合注意力网络（MAN）用于高光谱图像去噪，通过多头循环光谱注意力联合建模波段间的光谱相关性，并通过渐进式光谱通道注意力捕捉每个波段内的光谱关系，同时利用注意力跳跃连接自适应融合低级与高级特征。MAN在模拟噪声和真实世界噪声下均实现了最先进性能，且参数量和推理时间均低于先前方法。

ABSTRACT

Hyperspectral image denoising is unique for the highly similar and correlated spectral information that should be properly considered. However, existing methods show limitations in exploring the spectral correlations across different bands and feature interactions within each band. Besides, the low- and high-level features usually exhibit different importance for different spatial-spectral regions, which is not fully explored for current algorithms as well. In this paper, we present a Mixed Attention Network (MAN) that simultaneously considers the inter- and intra-spectral correlations as well as the interactions between low- and high-level spatial-spectral meaningful features. Specifically, we introduce a multi-head recurrent spectral attention that efficiently integrates the inter-spectral features across all the spectral bands. These features are further enhanced with a progressive spectral channel attention by exploring the intra-spectral relationships. Moreover, we propose an attentive skip-connection that adaptively controls the proportion of the low- and high-level spatial-spectral features from the encoder and decoder to better enhance the aggregated features. Extensive experiments show that our MAN outperforms existing state-of-the-art methods on simulated and real noise settings while maintaining a low cost of parameters and running time.

研究动机与目标

• 为解决现有方法在建模高光谱图像（HSI）去噪中复杂光谱相关性与特征交互方面的局限性。
• 通过联合捕捉波段间的依赖关系与每个波段内的光谱关系，提升去噪性能。
• 通过学习空间-光谱联合的注意力权重，增强编码器与解码器之间跳跃连接的特征融合。
• 在保持极低参数量与快速推理的前提下实现高效率，尤其适用于真实世界应用。

提出的方法

• 提出多头循环光谱注意力（MHRSA），通过两个轻量级MLP在光谱波段间应用循环注意力，生成动态注意力图与值特征，实现高效的双向上下文聚合。
• 提出渐进式光谱通道注意力（PSCA），在波段间融合后，依次应用动态与静态通道混合，以增强每个光谱波段内的特征表示。
• 设计注意力跳跃连接（ASC），学习元素级融合权重，用于编码器与解码器特征的自适应融合，实现对信息丰富空间-光谱区域的选择性聚焦。
• 将MHRSA、PSCA与ASC整合于U形网络架构中，实现多尺度与多光谱维度下特征的逐步优化。
• 采用轻量级设计，参数增长极少，注意力计算依赖MLP而非密集卷积。
• 在模拟与真实高光谱图像去噪基准上端到端训练，并通过消融实验验证各组件的贡献。

Figure 1 : Speed and performance comparison. Our method outperforms state-of-the-art methods with low-cost parameters and runtime. Comparisons are performed on the ICVL dataset with blind Gaussian noise.

实验结果

研究问题

• RQ1 循环光谱注意力是否能有效建模所有波段间的光谱相关性，同时保持计算效率？
• RQ2 渐进式光谱内通道注意力是否能在波段间融合后提升每个波段内的特征表示？
• RQ3 一种学习空间-光谱联合注意力权重的自适应跳跃连接是否优于标准的加法或拼接跳跃连接？
• RQ4 联合建模波段间与波段内相关性，并结合自适应特征融合，是否能以极低参数成本实现最先进去噪性能？

主要发现

• 所提出的MAN在ICVL数据集高斯噪声（σ=50）下达到41.94 dB的最先进PSNR，优于所有SOTA方法。
• MAN在参数量与推理速度均优于基线UNet（3D卷积与ReLU）0.36 dB，证实PSCA在增强光谱内特征方面的有效性。
• MHRSA模块贡献最大性能提升，使PSNR提高0.52 dB，证实建模波段间相关性的重要性。
• 注意力跳跃连接相比标准加法跳跃连接提升0.35 dB，表明其能有效选择性强调信息丰富的特征。
• MAN保持极小模型尺寸（1.39M参数）与快速推理时间（0.97s），在速度与精度上均优于更重的GRUNet模型（14.2M参数，0.87s）。
• 可视化结果表明，ASC与MHRSA生成的注意力图具有空间与光谱自适应性，能根据内容聚焦于不同区域与波段。

Figure 2 : Overall architectures of the proposed mixed attention network and mixed attention block.