[论文解读] Hyperspectral Classification Based on 3D Asymmetric Inception Network with Data Fusion Transfer Learning

Haokui Zhang, Yü Liu+4 more|arXiv (Cornell University)|Feb 11, 2020

Remote-Sensing Image Classification参考文献 21被引用 5

一句话总结

本文提出 AINet，一种用于高光谱图像分类的轻量化3D非对称残差网络，通过深度、光谱优化的网络结构缓解小样本数据集中的过拟合问题。进一步结合数据融合迁移学习策略，该方法在Pavia University、Indian Pines和Kennedy Space Center基准数据集上取得最先进性能，总体分类准确率（OA）最高达99.14%。

ABSTRACT

Hyperspectral image(HSI) classification has been improved with convolutional neural network(CNN) in very recent years. Being different from the RGB datasets, different HSI datasets are generally captured by various remote sensors and have different spectral configurations. Moreover, each HSI dataset only contains very limited training samples and thus it is prone to overfitting when using deep CNNs. In this paper, we first deliver a 3D asymmetric inception network, AINet, to overcome the overfitting problem. With the emphasis on spectral signatures over spatial contexts of HSI data, AINet can convey and classify the features effectively. In addition, the proposed data fusion transfer learning strategy is beneficial in boosting the classification performance. Extensive experiments show that the proposed approach beat all of the state-of-art methods on several HSI benchmarks, including Pavia University, Indian Pines and Kennedy Space Center(KSC). Code can be found at: https://github.com/UniLauX/AINet.

研究动机与目标

• 解决因训练样本有限而导致的高光谱图像（HSI）分类中的过拟合问题。
• 通过设计更深、更轻量化的网络结构，克服浅层3D卷积神经网络（CNN）在HSI分类中的局限性。
• 通过利用具有不同光谱配置的多样化HSI数据集进行迁移学习，提升模型泛化能力与训练效率。
• 通过网络结构设计，强调光谱特征而非空间上下文，从而提升分类性能。
• 在低数据量场景下，验证多源迁移学习在HSI分类中的有效性。

提出的方法

• 提出一种3D非对称残差网络（AINet），采用空洞卷积与非对称卷积核大小，以更少参数高效提取光谱-空间特征。
• 引入光谱注意力机制，优先关注光谱特征而非空间上下文，与HSI数据的固有特性保持一致。
• 提出一种数据融合迁移学习策略：在目标数据集微调前，先在多个源HSI数据集（如Pavia Center、Salinas）上预训练网络。
• 采用两阶段训练流程：先在具有不同光谱响应的源数据集上进行预训练，随后在标签样本较少的目标数据集上进行微调。
• 通过使用多个源数据集（如AINet+T3和AINet+T4）进行迁移学习，提升特征泛化能力与模型鲁棒性。
• 采用3D CNN主干网络并引入残差连接，实现在保持计算效率的同时训练深层网络。

实验结果

研究问题

• RQ1 在训练样本有限的高光谱图像分类任务中，是否能够通过轻量化、深层的3D CNN结合非对称卷积核设计，有效提取具有代表性的光谱-空间特征？
• RQ2 从具有不同光谱配置的多个HSI数据集进行数据融合迁移学习，如何提升模型泛化能力与分类准确率？
• RQ3 在低样本学习场景下，是否从与目标数据集相同传感器获取的源数据集进行迁移学习，相比不同传感器的源数据集，能带来更大的性能增益？
• RQ4 在分类准确率与鲁棒性方面，预训练于多个多样化HSI数据集是否显著优于单数据集预训练？
• RQ5 在小样本目标数据集上微调时，迁移学习对训练效率与收敛行为有何影响？

主要发现

• AINet在Indian Pines数据集上达到99.14%的总体分类准确率（OA），分别优于2D-CNN（9.15%）、3D-CNN（1.58%）和SSRN（0.74%）。
• 模型性能在迁移学习下显著提升，尤其在每类仅15个训练样本时，部分情况下性能增益高达10%。
• 在两个不同HSI数据集（如Pavia Center与Salinas）上进行预训练，相比单数据集预训练，性能增益更高，表明类别与光谱多样性具有优势。
• 从与目标数据集相同传感器获取的源数据集进行迁移学习，相比不同传感器源数据集，性能增益更大，尤其在低数据量场景下。
• AINet在参数量远小于更深的3D-CNN的同时，仍实现更优的分类准确率，展现出良好的效率与可扩展性。
• 当使用更多训练样本（如每类30个）时，微调模型的性能在某些情况下出现轻微下降，表明微调过程可能存在超参数敏感性。