[論文レビュー] Hyperspectral Image Classification: Artifacts of Dimension Reduction on Hybrid CNN

Muhammad Ahmad, Sidrah Shabbir+4 more|arXiv (Cornell University)|Jan 25, 2021

Remote-Sensing Image Classification被引用数 9

ひとこと要約

本稿では、特徴抽出の前に次元削減（特にPCA）を適用することで計算コストを低減する、軽量なハイブリッド3D/2D CNNモデルを提案する。この手法は、5つのベンチマークデータセットで最先端の精度を達成し、パラメータ数と学習サンプル数が少ないにもかかわらず、従来の2D/3D CNNを上回る一般化性能と効率性を示した。

ABSTRACT

Convolutional Neural Networks (CNN) has been extensively studied for Hyperspectral Image Classification (HSIC) more specifically, 2D and 3D CNN models have proved highly efficient in exploiting the spatial and spectral information of Hyperspectral Images. However, 2D CNN only considers the spatial information and ignores the spectral information whereas 3D CNN jointly exploits spatial-spectral information at a high computational cost. Therefore, this work proposed a lightweight CNN (3D followed by 2D-CNN) model which significantly reduces the computational cost by distributing spatial-spectral feature extraction across a lighter model alongside a preprocessing that has been carried out to improve the classification results. Five benchmark Hyperspectral datasets (i.e., SalinasA, Salinas, Indian Pines, Pavia University, Pavia Center, and Botswana) are used for experimental evaluation. The experimental results show that the proposed pipeline outperformed in terms of generalization performance, statistical significance, and computational complexity, as compared to the state-of-the-art 2D/3D CNN models except commonly used computationally expensive design choices.

研究の動機と目的

• ハイパースペクトル画像分類（HSIC）における3D CNNの高い計算コストを低減しつつ、スペクトル・スパティアル特徴抽出を維持すること。
• 次元削減技術がハイブリッド3D/2D CNNの性能に与える影響を調査すること。
• 分類精度と一般化性能を向上させるために、入力ウィンドウサイズを最適化すること。
• 精度と効率のバランスを取った、軽量でエンドツーエンドで学習可能なフレームワークを構築すること。
• 複数のベンチマークデータセットにおいて、最先端の2D/3D CNNモデルと比較して優れた性能を示すことを実証すること。

提案手法

• 3D畳み込みが共同スペクトル・スパティアル特徴を抽出し、その後に2D畳み込みでスパティアル特徴を精緻化するハイブリッド3D/2D CNNアーキテクチャを設計した。
• スペクトルの冗長性と計算負荷を低減するため、PCA、ICA、SPCA、SVD、iPCAを前処理として適用した。
• 入力パッチサイズを9×9および11×11として、空間的ウィンドウサイズが性能に与える影響を評価するため、エンドツーエンドで学習した。
• 一貫した学習設定のもとで評価するために、5つのベンチマークデータセット（SalinasA、Salinas、Indian Pines、Pavia University、Pavia Center、Botswana）を用いた。
• 統計的有意性を保証するため、OA（全体精度）、AA（平均精度）、およびカッパ係数を用いて性能を評価した。
• 同一の学習分割（50/50の訓練/テストおよび訓練/検証）のもとで、Multi-scale 3D-CNN や 3D/2D-CNN などの最先端モデルと比較した。

実験結果

リサーチクエスチョン

• RQ1 次元削減は、ハイパースペクトル画像分類におけるハイブリッド3D/2D CNNの性能にどのように影響するか？
• RQ2 PCA、ICA、SPCA、SVD、iPCA のうち、どの次元削減技術が提案されたハイブリッドCNNと組み合わせた際に最高の分類精度を達成するか？
• RQ3 分類性能を最大化するために最適な入力ウィンドウサイズ（9×9 と 11×11）はどれか？
• RQ4 提案されたハイブリッド3D/2D CNNは、精度、一般化性能、計算コストの観点から、最先端の2Dおよび3D CNNモデルと比較してどのように差をつけるか？
• RQ5 軽量なハイブリッドCNNは、少ないパラメータ数、フィルタ数、エポック数、および学習サンプル数でSOTAの性能を達成できるか？

主な発見

• 提案されたハイブリッド3D/2D CNNは、Salinas Full Scene データセットで99.89%のOA、99.90%のAA、99.97%のカッパ係数を達成し、比較対象のすべてのモデルを上回った。
• PCAを前処理として適用した場合、全データセットで最高の分類性能を示し、15～27波長帯の範囲で一貫したOAおよびカッパ値を達成した。
• 11×11の入力ウィンドウサイズは、Pavia UniversityおよびBotswanaデータセットで9×9よりも分類精度を向上させた。これは、より大きな受容 field による優れた特徴表現を示している。
• Botswana データセットでは、97.73%のOA、97.91%のAA、98.20%のカッパ係数を達成し、3D-CNN（88.26%のOA）および2D-CNN（82.54%のOA）を著しく上回った。
• 提案手法は、少ない畳み込み層数、フィルタ数、エポック数、および学習サンプル数でSOTAの結果を達成し、計算時間を短縮しながらも高い精度を維持した。
• 全5つのベンチマークデータセットにおいて、強力な一般化性能と統計的有意性を示し、フレームワークの頑健さと効率性を確認した。