[论文解读] Hyperspectral Image Super-Resolution with Spectral Mixup and Heterogeneous Datasets

Ke Li, Dengxin Dai+2 more|arXiv (Cornell University)|Jan 19, 2021

Advanced Image Fusion Techniques参考文献 48被引用 5

一句话总结

该论文提出了一种新颖的高光谱图像超分（HSI SR）方法，结合了多任务学习、RGB图像超分作为辅助任务、光谱混合数据增强以及从仅含低分辨率HSI数据的半监督学习。通过联合训练RGB与HSI数据，应用光谱混合生成虚拟训练样本，并强制跨模型一致性，该方法在四个基准数据集上实现了最先进性能，显著提升了鲁棒性与泛化能力。

ABSTRACT

This work studies Hyperspectral image (HSI) super-resolution (SR). HSI SR is characterized by high-dimensional data and a limited amount of training examples. This exacerbates the undesirable behaviors of neural networks such as memorization and sensitivity to out-of-distribution samples. This work addresses these issues with three contributions. First, we observe that HSI SR and RGB image SR are correlated and develop a novel multi-tasking network to train them jointly so that the auxiliary task RGB image SR can provide additional supervision. Second, we propose a simple, yet effective data augmentation routine, termed Spectral Mixup, to construct effective virtual training samples to enlarge the training set. Finally, we extend the network to a semi-supervised setting so that it can learn from datasets containing only low-resolution HSIs. With these contributions, our method is able to learn from heterogeneous datasets and lift the requirement for having a large amount of HD HSI training samples. Extensive experiments on four standard datasets show that our method outperforms existing methods significantly and underpin the relevance of our contributions. Code has been made available at https://github.com/kli8996/HSISR.

研究动机与目标

• 解决高分辨率（HR）HSI训练数据有限的问题，该问题因过拟合与分布偏移而阻碍深度学习性能。
• 利用高分辨率RGB图像的丰富性与低分辨率HSI数据，将训练数据扩展至纯HR HSI数据集之外。
• 通过引入以RGB图像超分为辅助任务的多任务学习框架，提升模型泛化能力并减少记忆化现象。
• 开发一种专为HSI SR设计的数据增强策略，以在不依赖额外真实数据的前提下提升训练多样性与鲁棒性。
• 通过利用未标注的低分辨率HSI数据集，并结合RGB超分预测结果的跨模型一致性，将方法扩展至半监督学习。

提出的方法

• 提出一种多任务学习框架，联合训练用于HSI SR和RGB图像超分的深度组卷积神经网络，通过共享特征表示以提升泛化能力。
• 提出光谱混合（Spectral Mixup），一种数据增强技术，通过在同一样本的HSI光谱带之间形成凸组合来生成虚拟训练样本，促进光谱维度上的线性行为。
• 采用基于跨模型一致性的半监督学习策略：当从同一低分辨率HSI输入生成时，HSI SR与RGB SR网络的超分结果必须保持一致。
• 使用一种通用的组卷积网络架构，可高效处理不同数量的光谱带（如RGB为3个，HSI为31–128个），以统一两个任务的训练过程。
• 对超分后的HSI输出应用标准相机响应函数，将其转换为RGB格式，以计算与RGB超分网络的一致性损失。
• 采用端到端训练方式，结合在标注HR HSI数据上的监督损失与在未标注LR HSI数据上的一致性损失，有效利用异构数据集。

实验结果

研究问题

• RQ1 尽管存在领域差异与光谱带数量不同，联合训练RGB图像超分是否能提升HSI超分模型的性能与鲁棒性？
• RQ2 光谱混合作为HSI SR的数据增强策略，在减少过拟合与提升对未见样本的泛化能力方面效果如何？
• RQ3 能否通过与预训练的RGB超分模型进行跨模型一致性，有效将半监督学习适配于HSI SR任务，利用未标注的低分辨率HSI数据？
• RQ4 所提出的三个核心组件——多任务学习、光谱混合与半监督学习——在多大程度上协同提升HSI超分性能？
• RQ5 当HR HSI数据稀缺时，该方法在具有不同光谱带数量与场景内容的多样化数据集上是否具备良好的泛化能力？

主要发现

• 所提方法在四个标准HSI SR基准数据集（CAVE、Harvard、NTRIE、Chikusei）上达到最先进性能，所有指标（包括PSNR、SSIM、RMSE）均优于现有方法。
• 即使不使用所提的三个核心组件，基础模型（仅使用组卷积网络）也已达到顶尖性能，证明了网络架构本身的优越性。
• 辅助的RGB图像超分任务显著提升了HSI超分性能，最佳结果在同时结合光谱混合与半监督学习时取得。
• 光谱混合持续提升模型泛化能力，减少过拟合，并增强对分布外样本的鲁棒性。
• 半监督学习组件有效利用了未标注的低分辨率HSI数据，当与辅助任务结合时进一步提升性能。
• 在完全监督设置下（如CAVE与Harvard在×4放大倍数下），该方法PSNR值超过42.1，RMSE低于0.0125，优于先前最先进方法如MCNet与SSPSR。