[論文レビュー] Band Attention Convolutional Networks For Hyperspectral Image Classification

Hongwei Dong, Lamei Zhang+1 more|arXiv (Cornell University)|Jun 11, 2019

Remote-Sensing Image ClassificationEngineering参考文献 25被引用数 20

ひとこと要約

本稿では、ハイパースペクトル画像（HSI）分類のためのバンドアテンションモジュール（BAM）を提案する。BAMは、深層畳み込みニューラルネットワーク（CNN）が情報量の多いスペクトルバンドを適応的に重み付けまたは選択できるようにし、ノイズと重複を低減する。BAMは、エンドツーエンド学習が可能なプラグアンドプレイ型のコンponentであり、既存のCNNアーキテクチャに統合可能で、Indian Pines や KSC といったベンチマークデータセットで最先端の性能を達成している。

ABSTRACT

Redundancy and noise exist in the bands of hyperspectral images (HSIs). Thus, it is a good property to be able to select suitable parts from hundreds of input bands for HSIs classification methods. In this letter, a band attention module (BAM) is proposed to implement the deep learning based HSIs classification with the capacity of band selection or weighting. The proposed BAM can be seen as a plug-and-play complementary component of the existing classification networks which fully considers the adverse effects caused by the redundancy of the bands when using convolutional neural networks (CNNs) for HSIs classification. Unlike most of deep learning methods used in HSIs, the band attention module which is customized according to the characteristics of hyperspectral images is embedded in the ordinary CNNs for better performance. At the same time, unlike classical band selection or weighting methods, the proposed method achieves the end-to-end training instead of the separated stages. Experiments are carried out on two HSI benchmark datasets. Compared to some classical and advanced deep learning methods, numerical simulations under different evaluation criteria show that the proposed method have good performance. Last but not least, some advanced CNNs are combined with the proposed BAM for better performance.

研究の動機と目的

• 畳み込みニューラルネットワーク（CNN）ベースの分類性能を低下させるスペクトルの冗長性とノイズの課題に対処すること。
• 一般向けのCNNをそのまま適用するのでなく、HSIの特性に特化したディープラーニングフレームワークを設計すること。
• 別々の非微分可能な段階を必要としない、バンド選択または重み付けのエンドツーエンド学習を可能にすること。
• 既存のCNNをアーキテクチャの再設計なしに強化できる、プラグアンドプレイ型モジュールを開発すること。
• 提案されたBAMの汎用性と有効性を、多様なCNNバックボーンとベンチマークデータセットを用いて検証すること。

提案手法

• バンドアテンションモジュール（BAM）は、グローバル平均プーリングと全結合層を用いて、スペクトルバンドごとのチャネルワイドなアテンション重みを学習するように設計されている。
• BAMは、入力HSIを1次元畳み込みとグローバルプーリングを経由して処理し、c個のスペクトルバンドに対してc×1の重みベクトルを生成する。
• 学習された重みはチャネルワイド乗算により入力バンドに適用され、情報量の多いバンドを強調し、ノイズや冗長なバンドを抑制する。
• BAMは標準的なCNNにプラグインモジュールとして統合され、バンド重み付けと分類の共同最適化を可能にするエンドツーエンド学習が可能となる。
• 1次元畳み込み層における比rを用いて情報の集約を制御し、アブレーションスタディでr=2が最適であると判明した。
• 本フレームワークは、VGGNet、ResNet、DenseNet、Xceptionを含む複数のバックボーンを用いて、Indian PinesおよびKSCデータセットで評価された。

実験結果

リサーチクエスチョン

• RQ1 学習可能なバンドアテンション機構は、情報量の多いスペクトルバンドを選択的に強調することで、HSI分類の精度を向上させることができるか？
• RQ2 HSI分類の文脈において、本稿で提案するBAMは、圧縮・拡張（SE）ブロックのような既存のアテンション機構と比較してどのように異なるか？
• RQ3 BAMモジュールは、異なるCNNアーキテクチャに一般化可能であり、一貫した性能向上を達成するか？
• RQ4 ハイパーパrameter（例：訓練エポック数、圧縮比r）のうち、BAMベースのモデルの性能に顕著な影響を与えるものは何か？
• RQ5 BAMは、アーキテクチャの変更なしに、既存のCNNを強化するためのプラグアンドプレイコンponentとして使用可能か？

主な発見

• 提案されたBAMは、KSCデータセットで95.06%という最高の全体精度（OA）を達成し、SEブロックや標準CNNを含むすべての比較手法を上回った。
• Indian Pinesデータセットでは、BAMベースのモデルが91.38%のOAを達成し、ベースラインのCMに対して4–5%の向上を示し、SEブロックよりも少なくとも2%の向上を示した。
• KSCデータセットでは、BAMにより、全体精度（OA）、平均アキュラシー（AA）、カッパ係数（Kappa）といった複数の評価指標で、ベースラインのCMと比較して4–5%の精度向上が達成された。
• BAMは強力な汎用性を示し、ResNet、DenseNet、Xception、TSCNNといった高度なバックボーンと組み合わせても一貫して性能向上を示した。
• ハイパーパramータ分析の結果、r=2および1000エポックの訓練が最適な性能をもたらし、500エポックで収束が確認された。
• BAMモジュールは、アーキテクチャの再設計なしに、多様なCNNアーキテクチャに効果的に統合可能であり、プラグアンドプレイコンponentとしての有効性を示した。