[論文レビュー] LiteDenseNet: A Lightweight Network for Hyperspectral Image Classification

Rui Li, Chenxi Duan|arXiv (Cornell University)|Apr 17, 2020

Remote-Sensing Image Classification参考文献 55被引用数 8

ひとこと要約

LiteDenseNet は、計算コストとパラメータ数を削減しながら高い精度を維持する、高光譜画像分類向けの軽量畳み込みニューラルネットワークである。3D二方向密度層とグループ畳み込みを統合することで、極めて限られたラベル情報下でも最先端の性能を達成する。6つのベンチマークデータセットで最先端の性能を発揮する。

ABSTRACT

Hyperspectral Image (HSI) classification based on deep learning has been an attractive area in recent years. However, as a kind of data-driven algorithm, deep learning method usually requires numerous computational resources and high-quality labelled dataset, while the cost of high-performance computing and data annotation is expensive. In this paper, to reduce dependence on massive calculation and labelled samples, we propose a lightweight network architecture (LiteDenseNet) based on DenseNet for Hyperspectral Image Classification. Inspired by GoogLeNet and PeleeNet, we design a 3D two-way dense layer to capture the local and global features of the input. As convolution is a computationally intensive operation, we introduce group convolution to decrease calculation cost and parameter size further. Thus, the number of parameters and the consumptions of calculation are observably less than contrapositive deep learning methods, which means LiteDenseNet owns simpler architecture and higher efficiency. A series of quantitative experiences on 6 widely used hyperspectral datasets show that the proposed LiteDenseNet obtains the state-of-the-art performance, even though when the absence of labelled samples is severe.

研究の動機と目的

• 高光譜画像分類におけるディープラーニングの計算コストとデータアノテーションの負荷を低減すること。
• パラメータ数とFLOPsを低く抑えながらも高い性能を維持する軽量ネットワークアーキテクチャの設計。
• 低監視条件下での一般化性能を向上させることで、限られた高光譜データラベルの課題に対処すること。
• グループ畳み込みや二方向特徴学習といった効率的な演算を統合し、効率性と特徴表現の両立を図ること。

提案手法

• 高光譜データの局所的およびグローバルな空間的・スペクトル的特徴を捉える3D二方向密度層を提案する。
• ネットワーク内のパラメータ数と計算複雑性を低減するためのグループ畳み込みを導入する。
• DenseNetの密度接続パターンを採用し、特徴の再利用と勾配の流れを向上させる。
• GoogLeNetとPeleeNetのアーキテクチャ的知見を活用し、性能を損なわずに効率性を最適化する。
• FLOPsとメモリ使用量を最小限に抑えるために、簡素化された浅いネットワーク設計を採用する。

実験結果

リサーチクエスチョン

• RQ1 計算コストを低減した軽量ネットワークアーキテクチャは、計算コストを抑えたまま高光譜画像分類で最先端の性能を達成できるか？
• RQ2 提案された3D二方向密度層は、標準的な3D畳み込みと比較してどのように特徴学習を向上させるか？
• RQ3 グループ畳み込みは、分類精度を劣化させることなく、どれほどパラメータ数とFLOPsを削減できるか？
• RQ4 LiteDenseNetは、限られたラベル付きトレーニングサンプル下でもどの程度一般化性能を発揮するか？

主な発見

• LiteDenseNet は、広く使われている6つの高光譜データセットで最先端の分類精度を達成した。
• 従来のディープラーニング手法と比較して、パラメータ数とFLOPsを顕著に削減した。
• 極めて限られたラベル付きサンプル下でも、高い性能を維持し、強力な一般化能力を示した。
• グループ畳み込みと3D二方向密度層の統合により、効率性と精度のバランスが効果的に実現された。