[論文レビュー] Hyperspectral Classification Based on 3D Asymmetric Inception Network with Data Fusion Transfer Learning

Haokui Zhang, Yü Liu+4 more|arXiv (Cornell University)|Feb 11, 2020

Remote-Sensing Image Classification参考文献 21被引用数 5

ひとこと要約

本稿では、過学習を軽減するための深くスペクトル最適化されたアーキテクチャを備えた軽量な3次元非対称インセプションネットワークAINetを提案する。さらに、データ統合的転移学習戦略を用いることで、Pavia University、Indian Pines、Kennedy Space Centerのベンチマークで最先端の性能を達成し、OAは最大99.14%に達する。

ABSTRACT

Hyperspectral image(HSI) classification has been improved with convolutional neural network(CNN) in very recent years. Being different from the RGB datasets, different HSI datasets are generally captured by various remote sensors and have different spectral configurations. Moreover, each HSI dataset only contains very limited training samples and thus it is prone to overfitting when using deep CNNs. In this paper, we first deliver a 3D asymmetric inception network, AINet, to overcome the overfitting problem. With the emphasis on spectral signatures over spatial contexts of HSI data, AINet can convey and classify the features effectively. In addition, the proposed data fusion transfer learning strategy is beneficial in boosting the classification performance. Extensive experiments show that the proposed approach beat all of the state-of-art methods on several HSI benchmarks, including Pavia University, Indian Pines and Kennedy Space Center(KSC). Code can be found at: https://github.com/UniLauX/AINet.

研究の動機と目的

• 限られた学習サンプルによるハイパースペクトル画像（HSI）分類における過学習の課題に対処すること。
• 浅い3次元畳み込みニューラルネットワーク（3D CNN）のHSI分類における限界を克服するため、より深い軽量なネットワークアーキテクチャを設計すること。
• 異なるスペクトル設定を持つ多様なHSIデータセットからの転移学習を活用することで、モデルの汎化性能と学習効率を向上させること。
• アーキテクチャ設計によってスペクトル特徴を空間的文脈よりも重視することで、分類性能を向上させること。
• 低データ環境におけるマルチソース転移学習の有効性をHSI分類において示すこと。

提案手法

• ドーナツ型畳み込みと非対称カーネルサイズを用いることで、パrameter数を削減しつつ効率的にスペクトル・スパティアル特徴を抽出する3次元非対称インセプションネットワーク（AINet）を提案する。
• スペクトル特徴を空間的文脈よりも優先するスペクトルアテンションメカニズムを採用し、HSIデータの固有の特性と整合性を保つ。
• 複数のソースHSIデータセット（例：Pavia Center、Salinas）で事前学習を行い、その後ターゲットデータセットで微調整する、データ統合的転移学習戦略を導入する。
• 2段階の学習プロセスを採用する：まず、多様なスペクトル応答を持つソースデータセットで事前学習し、次に、少数のラベル付きサンプルを用いてターゲットデータセットで微調整する。
• 複数のソースデータセット（例：AINet+T3およびAINet+T4）からの転移学習を活用することで、特徴の汎化性能とモデルのロバスト性を向上させる。
• 残差接続を備えた3次元CNNバックボーンを用いることで、計算効率を維持したまま深層ネットワークの学習を可能にする。

実験結果

リサーチクエスチョン

• RQ1 限られた学習データで動作する軽量で深い3次元CNN（非対称カーネル設計を含む）は、ハイパースペクトル画像分類において代表的なスペクトル・スパティアル特徴を効果的に抽出できるか？
• RQ2 異なるスペクトル設定を持つ複数のHSIデータセットからのデータ統合的転移学習は、モデルの汎化性能と分類精度をどのように向上させるか？
• RQ3 ターゲットデータセットと同一センサーで撮影されたソースデータセットからの転移学習は、異なるセンサーからのものよりも、特に低ショット学習環境下でより大きな性能向上をもたらすか？
• RQ4 複数の多様なHSIデータセットで事前学習することで、単一データセットでの事前学習に比べて、分類精度とロバスト性の面でどれほど優れているか？
• RQ5 ターゲットデータセットで少数のサンプルを用いて微調整する際、転移学習が学習効率および収束行動に与える影響は何か？

主な発見

• AINetはIndian Pinesデータセットで99.14%の全体精度（OA）を達成し、2D-CNNに比べて9.15%、3D-CNNに比べて1.58%、SSRNに比べて0.74%優れている。
• 転移学習を適用することで、特に1クラスあたり15個の学習サンプルしかない場合に顕著な性能向上が見られ、一部のケースで最大10%の向上が達成された。
• Pavia CenterとSalinasの2つの異なるHSIデータセットで事前学習を施すと、単一データセットでの事前学習よりも高い性能向上が得られ、クラスとスペクトルの多様性の恩恵が示された。
• ターゲットデータセットと同一センサーで撮影されたソースデータセットからの転移学習は、異なるセンサーからのものよりも大きな性能向上をもたらし、特に低データ環境下で顕著であった。
• より深い3D-CNNに比べて、AINetははるかに少ないパラメータ数を維持しながらも、優れた精度を達成しており、効率性とスケーラビリティを示している。
• 一部のケースでは、より多くの学習サンプル（例：1クラスあたり30個）を用いた場合、微調整後のモデル性能にわずかな低下が見られたことから、微調整プロセスにおけるハイパーパramータの感受性が示唆された。