[论文解读] Pansharpening via Detail Injection Based Convolutional Neural Networks

Lin He, Yizhou Rao+3 more|arXiv (Cornell University)|Jun 23, 2018

Advanced Image Fusion Techniques参考文献 5被引用 10

一句话总结

本论文提出了一种基于细节注入的卷积神经网络（DiCNN）框架用于全色锐化，其中多光谱（MS）细节通过两个网络以端到端的方式显式学习：DiCNN1利用全色（PAN）和多光谱图像提取MS细节，而DiCNN2则仅依赖PAN图像。该方法在多个数据集上实现了最先进的全色锐化质量，具有快速收敛性和强泛化能力，在光谱保真度和空间精度方面优于现有的基于CNN的方法。

ABSTRACT

Pansharpening aims to fuse a multispectral (MS) image with an associated panchromatic (PAN) image, producing a composite image with the spectral resolution of the former and the spatial resolution of the latter. Traditional pansharpening methods can be ascribed to a unified detail injection context, which views the injected MS details as the integration of PAN details and band-wise injection gains. In this work, we design a detail injection based CNN (DiCNN) framework for pansharpening, with the MS details being directly formulated in end-to-end manners, where the first detail injection based CNN (DiCNN1) mines MS details through the PAN image and the MS image, and the second one (DiCNN2) utilizes only the PAN image. The main advantage of the proposed DiCNNs is that they provide explicit physical interpretations and can achieve fast convergence while achieving high pansharpening quality. Furthermore, the effectiveness of the proposed approaches is also analyzed from a relatively theoretical point of view. Our methods are evaluated via experiments on real-world MS image datasets, achieving excellent performance when compared to other state-of-the-art methods.

研究动机与目标

• 通过在统一的细节注入框架内重新诠释任务，解决传统全色锐化方法中存在的光谱失真和收敛性差的问题。
• 设计一种具有显式物理解释的CNN全色锐化方法，避免黑箱学习。
• 通过直接从PAN和MS图像端到端学习MS细节，提升收敛速度和全色锐化质量。
• 在MS波段数量发生变化时实现高效迁移学习，减少训练时间和计算成本。
• 在真实世界数据集上验证该方法相较于最先进的基于CNN和经典全色锐化技术的优越性。

提出的方法

• 该方法将全色锐化建模为一个细节注入问题，通过两个专用CNN（DiCNN1和DiCNN2）端到端学习MS细节。
• DiCNN1通过联合处理PAN和低分辨率多光谱（LRMS）图像提取MS细节，建模空间与光谱信息之间的交互关系。
• DiCNN2仅使用PAN图像学习MS细节，降低复杂度，实现更快的推理和微调速度。
• 该框架显式建模了PAN细节与波段特异性注入增益之间的物理关系，提升了可解释性并减少了光谱失真。
• 网络通过损失函数进行端到端训练，以最小化与真实高分辨率MS图像之间的光谱和空间差异。
• 通过在预训练后仅微调最后的全连接层，实现迁移学习，显著减少了新波段配置下的训练时间。

实验结果

研究问题

• RQ1 基于细节注入的CNN框架是否能在性能上优于现有的基于CNN和经典方法？
• RQ2 与传统方法相比，MS细节的端到端学习是否能提升收敛速度并减少光谱失真？
• RQ3 DiCNN2能否通过高效的微调在不同MS波段数量下保持高性能，从而体现其迁移学习能力？
• RQ4 与黑箱学习相比，DiCNN中对细节注入的显式物理解释在可解释性和准确性方面有何优势？
• RQ5 在所提出的DiCNN框架中，性能、训练时间与波段配置变化鲁棒性之间的权衡如何？

主要发现

• 在WorldView-2华盛顿数据集上，DiCNN1在Q4（0.9497）、SAM（2.8630）、ERGAS（2.3080）和SCC（0.9407）指标上均取得最佳表现，优于PNN、DRPNN和DiCNN2。
• 在相同数据集上，DiCNN2的训练时间最快（173秒），少于最慢方法DRPNN（360秒）的一半。
• 在三波段IKONOS数据集上，DiCNN2在Q4（0.8986）、SAM（2.0317）和SCC（0.9181）指标上均表现最优，优于PNN和DRPNN。
• DiCNN2展现出强大的迁移学习能力，仅需10,000次训练迭代即可在预训练后微调最后一层，且在波段数量变化时性能下降极小。
• 视觉结果表明，DiCNN1和DiCNN2生成的图像比PNN和DRPNN更清晰，振铃伪影更少，尤其在边缘区域表现更优。
• 该方法实现了优异的光谱保真度，所有测试数据集的SAM值均低于3.0°，表明光谱失真极小。