[論文レビュー] Faster hyperspectral image classification based on selective kernel mechanism using deep convolutional networks

Guandong Li, Chunju Zhang|arXiv (Cornell University)|Feb 14, 2022

Remote-Sensing Image Classification被引用数 9

ひとこと要約

本稿では、選択的カーネル機構を統合して受容 field を動的に適応させる軽量な 3D-CNN を用いたハイパースペクトル画像分類モデル FSKNet を提案する。3D から 2D への特徴変換とチャネル注目（SE モジュール）および空間的に適応する畳み込みを組み合わせることで、IN、UP、Salinas、Botswana データセットにおいて、顕著に少ないパラメータ数と推論時間で高い精度を達成する。

ABSTRACT

Hyperspectral imagery is rich in spatial and spectral information. Using 3D-CNN can simultaneously acquire features of spatial and spectral dimensions to facilitate classification of features, but hyperspectral image information spectral dimensional information redundancy. The use of continuous 3D-CNN will result in a high amount of parameters, and the computational power requirements of the device are high, and the training takes too long. This letter designed the Faster selective kernel mechanism network (FSKNet), FSKNet can balance this problem. It designs 3D-CNN and 2D-CNN conversion modules, using 3D-CNN to complete feature extraction while reducing the dimensionality of spatial and spectrum. However, such a model is not lightweight enough. In the converted 2D-CNN, a selective kernel mechanism is proposed, which allows each neuron to adjust the receptive field size based on the two-way input information scale. Under the Selective kernel mechanism, it mainly includes two components, se module and variable convolution. Se acquires channel dimensional attention and variable convolution to obtain spatial dimension deformation information of ground objects. The model is more accurate, faster, and less computationally intensive. FSKNet achieves high accuracy on the IN, UP, Salinas, and Botswana data sets with very small parameters.

研究の動機と目的

• 従来の 3D-CNN がハイパースペクトル画像分類に用いる際の高いパラメータ数と計算コストを低減すること。
• 分類性能を損なわず、スペクトルおよび空間的冗長性を低減すること。
• 最小限のモデルサイズで高い分類精度を維持する軽量なネットワークを設計すること。
• 選択的カーネル機構と次元削減を用いてモデルの複雑さを低減することで、推論速度を向上させること。
• 少ないパラメータ数で、ベンチマーク用ハイパースペクトルデータセットにおいて最先端の性能を達成すること。

提案手法

• ハイパースペクトルデータから空間的・スペクトル的特徴を共同で抽出するために、初めに 3D-CNN を使用する。
• 3D から 2D への特徴変換モジュールを導入することで、空間的およびスペクトル的次元を低減し、モデルの複雑さを低下させる。
• 2D-CNN ブランチに選択的カーネル機構を導入し、入力スケールに応じて受容 field のサイズを動的に調整する。
• 選択的カーネル機構は、チャネル注目に用いる squeeze-and-excitation (SE) モジュールと、学習可能な空間的に適応する畳み込みを組み合わせることで、変形モデリングを実現する。
• マルチスケール情報を利用した動的受容 field 適応を可能にするために、2ストリームの入力処理戦略を採用する。
• 高精度を維持しながら、推論速度とパラメータ効率に最適化されたアーキテクチャである。

実験結果

リサーチクエスチョン

• RQ1 ハイブリッド 3D-2D CNN アーキテクチャは、ハイパースペクトル画像解析における計算コストを低減しつつ分類精度を維持できるか？
• RQ2 選択的カーネル機構は、ハイパースペクトルデータにおける特徴表現の向上に向け、受容 field の適応をどの程度効果的に実現できるか？
• RQ3 分類性能を劣化させずに、スペクトルおよび空間的冗長性をどの程度低減できるか？
• RQ4 SE モジュールと可変畳み込みの統合により、モデルの効率性と精度を同時に向上させられるか？
• RQ5 標準的なハイパースペクトルベンチマークにおいて、FSKNet は既存の 3D-CNN に基づくモデルと比べて、精度と速度の両面で優れているか？

主な発見

• FSKNet は、Indian Pines (IN)、University of Pavia (UP)、Salinas、Botswana データセットにおいて、非常に少ないモデルパラメータ数で高い分類精度を達成する。
• パラメータ数の削減と効率的なアーキテクチャのおかげで、標準的な 3D-CNN よりも顕著に高速な推論速度を示す。
• 選択的カーネル機構により、動的受容 field 適応が可能となり、計算オーバーヘッドを最小限に抑えながら特徴表現を向上させる。
• SE モジュールと可変畳み込みの組み合わせにより、チャネル単位の注目と空間的変形モデリングの両方が強化され、性能向上が達成される。
• パラメータ数が著しく少ないにもかかわらず、精度では最先端の手法を上回るか、同等の性能を発揮する。
• 3D から 2D への特徴変換は、特徴品質を損なわず、冗長性を効果的に低減し、処理を加速する。