[论文解读] LiteDenseNet: A Lightweight Network for Hyperspectral Image Classification

Rui Li, Chenxi Duan|arXiv (Cornell University)|Apr 17, 2020

Remote-Sensing Image Classification参考文献 55被引用 8

一句话总结

LiteDenseNet 是一种用于高光谱图像分类的轻量化卷积神经网络，通过集成 3D 双向密集层和分组卷积，有效降低了计算成本和参数量，同时保持了高精度。它在六个基准数据集上实现了最先进性能，即使在标签严重稀缺的情况下亦表现优异。

ABSTRACT

Hyperspectral Image (HSI) classification based on deep learning has been an attractive area in recent years. However, as a kind of data-driven algorithm, deep learning method usually requires numerous computational resources and high-quality labelled dataset, while the cost of high-performance computing and data annotation is expensive. In this paper, to reduce dependence on massive calculation and labelled samples, we propose a lightweight network architecture (LiteDenseNet) based on DenseNet for Hyperspectral Image Classification. Inspired by GoogLeNet and PeleeNet, we design a 3D two-way dense layer to capture the local and global features of the input. As convolution is a computationally intensive operation, we introduce group convolution to decrease calculation cost and parameter size further. Thus, the number of parameters and the consumptions of calculation are observably less than contrapositive deep learning methods, which means LiteDenseNet owns simpler architecture and higher efficiency. A series of quantitative experiences on 6 widely used hyperspectral datasets show that the proposed LiteDenseNet obtains the state-of-the-art performance, even though when the absence of labelled samples is severe.

研究动机与目标

• 降低深度学习在高光谱图像分类中对计算资源和数据标注的需求。
• 设计一种轻量化网络架构，在参数更少、FLOPs 更低的情况下仍保持高性能。
• 通过提升在低监督条件下的泛化能力，应对标注数据有限的挑战。
• 集成如分组卷积和双向特征学习等高效操作，以提升效率和特征表示能力。

提出的方法

• 提出一种 3D 双向密集层，用于捕捉高光谱数据中的局部与全局空间-光谱特征。
• 引入分组卷积，以减少网络中的参数数量和计算复杂度。
• 将 DenseNet 的密集连接模式适配到本模型中，以增强特征重用和梯度流动。
• 借鉴 GoogLeNet 和 PeleeNet 的架构洞察，优化效率而不损失性能。
• 采用简化且浅层的网络设计，以最小化 FLOPs 和内存占用，同时保持高精度。

实验结果

研究问题

• RQ1 轻量化网络架构是否能在计算成本更低的情况下实现高光谱图像分类的最先进性能？
• RQ2 所提出的 3D 双向密集层相较于标准 3D 卷积，在特征学习方面有何改进？
• RQ3 分组卷积在不降低分类精度的前提下，能在多大程度上减少参数量和 FLOPs？
• RQ4 LiteDenseNet 在标注训练样本有限的情况下，其泛化能力如何？

主要发现

• LiteDenseNet 在六个广泛使用的高光谱数据集上实现了最先进分类精度。
• 与现有深度学习方法相比，该模型显著减少了参数数量和 FLOPs。
• 即使在标签严重受限的情况下，LiteDenseNet 仍保持高性能，展现出强大的泛化能力。
• 分组卷积与 3D 双向密集层的有效集成，实现了效率与精度的优良平衡。