[論文レビュー] Multi-scale Dynamic Graph Convolutional Network for Hyperspectral Image Classification

Sheng Wan, Chen Gong+4 more|arXiv (Cornell University)|May 14, 2019

Remote-Sensing Image Classification参考文献 68被引用数 12

ひとこと要約

本稿では、ハイパースペクトル画像分類のためのマルチスケールダイナミックグラフ畳み込みネットワーク（MDGCN）を提案する。この手法は畳み込み中にグラフ構造を動的に更新することで、空間的・スペクトル的相関をよりよく捉え、境界の詳細を保持する。マルチスケールグラフと適応的グラフ学習を統合することで、ベンチマークデータセットで最先端の性能を達成し、精度と効率性の両方を向上させた。

ABSTRACT

Convolutional Neural Network (CNN) has demonstrated impressive ability to represent hyperspectral images and to achieve promising results in hyperspectral image classification. However, traditional CNN models can only operate convolution on regular square image regions with fixed size and weights, so they cannot universally adapt to the distinct local regions with various object distributions and geometric appearances. Therefore, their classification performances are still to be improved, especially in class boundaries. To alleviate this shortcoming, we consider employing the recently proposed Graph Convolutional Network (GCN) for hyperspectral image classification, as it can conduct the convolution on arbitrarily structured non-Euclidean data and is applicable to the irregular image regions represented by graph topological information. Different from the commonly used GCN models which work on a fixed graph, we enable the graph to be dynamically updated along with the graph convolution process, so that these two steps can be benefited from each other to gradually produce the discriminative embedded features as well as a refined graph. Moreover, to comprehensively deploy the multi-scale information inherited by hyperspectral images, we establish multiple input graphs with different neighborhood scales to extensively exploit the diversified spectral-spatial correlations at multiple scales. Therefore, our method is termed 'Multi-scale Dynamic Graph Convolutional Network' (MDGCN). The experimental results on three typical benchmark datasets firmly demonstrate the superiority of the proposed MDGCN to other state-of-the-art methods in both qualitative and quantitative aspects.

研究の動機と目的

• ハイパースペクトル画像における不規則な空間構造の捉え方やクラス境界の保持に、固定重み・固定受容野を持つCNNの限界を解消すること。
• 従来のGCNで見られる静的グラフ表現が、変化する局所パターンやスペクトル的・空間的相関に適応できない問題を克服すること。
• 異なる近傍スケールでグラフを構築することで、マルチスケールの空間的コンテキストを活用し、包括的な特徴学習を実現すること。
• グラフ構造と特徴表現を繰り返し最適化する統合最適化フレームワークを構築し、分類性能を向上させること。
• 境界領域における分類精度を顕著に向上させつつ、計算効率を維持すること。

提案手法

• 本手法は、異なる近傍スケール（例：s=1,2,3）で複数の入力グラフを構築し、マルチスケールのスペクトル的・空間的相関を捉える。
• 特徴類似度に基づいて、GCNのフォワードパス中に繰り返しグラフ構造を更新するダイナミックグラフ学習機構を採用する。
• 動的に更新されたグラフ上で畳み込みを実行することで、モデルが関連する局所領域に適応的に注目し、特徴の識別能を向上させる。
• グラフ更新プロセスは微分可能であり、エンドツーエンドで学習可能であり、グラフトポロジーとノード表現の共同最適化を可能にする。
• 効率性を向上させるために、スーパープクセルベースの手法を用いてグラフサイズと計算コストを低減し、性能を損なわずに実現する。
• スケイル付き接続を備えたマルチステージGCNアーキテクチャを採用し、層間の特徴を統合して表現学習を強化する。

実験結果

リサーチクエスチョン

• RQ1 動的に更新されるグラフは、局所的な空間的・スペクトル的依存関係をよりよくモデル化することで、ハイパースペクトル画像分類を向上させることができるか？
• RQ2 マルチスケールグラフを組み込むことで、単一スケールまたは固定グラフと比較して、より優れた特徴表現と分類精度が得られるか？
• RQ3 提案手法は、従来のCNNや固定GCNモデルと比較して、細粒度の境界詳細をより効果的に保持できるか？
• RQ4 標準的なハイパースペクトルベンチマークにおいて、提案手法MDGCNは最先端手法と比較して性能と効率性に優れているか？
• RQ5 分類のロバスト性と精度向上に寄与するのは、ダイナミックグラフ学習か、固定グラフ構造か、どちらがより重要か？

主な発見

• Indian Pinesデータセットでは、MDGCNが全体精度（OA）98.4%を達成し、2番目に良い手法（HiFi）を1.2ポイント上回った。
• University of Paviaデータセットでは、MDGCNがOA 98.7%を達成し、次に良い手法（JSDF）を1.1ポイント上回った。
• Kennedy Space Centerデータセットでは、MDGCNがOA 97.9%を達成し、2番目に良い手法（DR-CNN）を1.3ポイント上回った。
• 固定グラフベースライン（MGCN）と比較して、ダイナミックグラフ機構によりOAが1.5–2.0ポイント向上し、その有効性が裏付けられた。
• MDGCNは、複数のグラフを用いているにもかかわらず、すべての比較モデルの中で最も短い実行時間（Indian Pinesで74秒、PaviaUで258秒、KSCで20秒）を達成した。これはスーパープクセルベースのグラフ圧縮のおかげである。
• 可視化分析の結果、MDGCNは境界領域でよりコンactかつ正確な分類マップを生成し、GCN、S2GCN、R-2D-CNN、および他のSOTA手法と比較して、誤分類が著しく少なかった。