[論文レビュー] Hyperspectral Image Classification With Context-Aware Dynamic Graph Convolutional Network

Sheng Wan, Chen Gong+4 more|arXiv (Cornell University)|Sep 26, 2019

Remote-Sensing Image Classification参考文献 57被引用数 10

ひとこと要約

本稿では、学習された領域誘導型グラフを用いて長距離の文脈的関係をモデル化し、適応的エッジ重みとエッジフィルタを介して動的にグラフ構造を精緻化することで、ハイパースペクトル画像分類に適した文脈に配慮した動的グラフ畳み込みネットワーク（CAD-GCN）を提案する。本手法は、反復的精緻化によってグラフトポロジと特徴表現を共同最適化することで、3つのベンチマークデータセットで最先端の性能を達成する。

ABSTRACT

In hyperspectral image (HSI) classification, spatial context has demonstrated its significance in achieving promising performance. However, conventional spatial context-based methods simply assume that spatially neighboring pixels should correspond to the same land-cover class, so they often fail to correctly discover the contextual relations among pixels in complex situations, and thus leading to imperfect classification results on some irregular or inhomogeneous regions such as class boundaries. To address this deficiency, we develop a new HSI classification method based on the recently proposed Graph Convolutional Network (GCN), as it can flexibly encode the relations among arbitrarily structured non-Euclidean data. Different from traditional GCN, there are two novel strategies adopted by our method to further exploit the contextual relations for accurate HSI classification. First, since the receptive field of traditional GCN is often limited to fairly small neighborhood, we proposed to capture long range contextual relations in HSI by performing successive graph convolutions on a learned region-induced graph which is transformed from the original 2D image grids. Second, we refine the graph edge weight and the connective relationships among image regions by learning the improved adjacency matrix and the 'edge filter', so that the graph can be gradually refined to adapt to the representations generated by each graph convolutional layer. Such updated graph will in turn result in accurate region representations, and vice versa. The experiments carried out on three real-world benchmark datasets demonstrate that the proposed method yields significant improvement in the classification performance when compared with some state-of-the-art approaches.

研究の動機と目的

• 空間的隣接ピクセルが同じクラスに属すると仮定する従来のHSI分類手法の制限に対処する。これは不規則または非均質な領域では成立しない。
• 局所的近傍を越えた文脈的関係を明示的にモデル化することで、クラス境界などの複雑な領域における分類精度を向上させる。
• 特徴学習中にグラフ構造を動的に更新することで、意味的関係をよりよく捉えることができるグラフベースのディープラーニングフレームワークを開発する。
• 学習可能なノード割り当てを用いた領域誘導型グラフに2次元画像グリッドを変換することで、HSIにおける効果的な長距離文脈モデリングを実現する。
• 各層における進化する特徴表現に適応するように、向上した隣接行列とエッジフィルタを共同で学習することで特徴表現を強化する。

提案手法

• ピクセルから領域への割り当てを学習することで、2次元画像グリッドから領域誘導型グラフを構築し、非局所的かつ長距離の文脈的接続を可能にする。
• 学習されたグラフ上で畳み込み層を繰り返し適用し、意味的に関連するが遠く離れた領域間で特徴を集約する。
• ノード間の微分可能な距離尺度を学習することで、エッジの接続性を動的に精緻化するための適応的エッジフィルタを導入する。
• 特徴類似度と空間的文脈に基づいてエッジ重みを調整する学習されたアテンションメカニズムを用いて、各層で隣接行列を更新する。
• トレーニング中にグラフ構造を段階的に精緻化することで、進化する特徴表現にネットワークが適応し、分類精度を向上させる。
• グラフ畳み込みとエンドツーエンド学習を組み合わせることで、スペクトル的および空間的情報を統合し、グラフトポロジと特徴学習の共同最適化を可能にする。

実験結果

リサーチクエスチョン

• RQ1 グラフベースのディープラーニングモデルは、局所的近傍を越えてハイパースペクトル画像における長距離文脈的関係を効果的に捉えることができるか？
• RQ2 適応的エッジ重みと学習された隣接行列による動的グラフ精緻化は、複雑で非均質な領域における分類性能をどのように向上させるか？
• RQ3 提案された領域誘導型グラフ構築法は、ユークリッド空間ベースの従来手法に比べて、意味的文脈をどれほど効果的に保持できるか？
• RQ4 グラフ構造と特徴表現の共同最適化は、多様なHSIデータセットにおいて一貫した性能向上をもたらすか？
• RQ5 推論速度とスケーラビリティの観点から、従来のGCNベースおよびCNNベースのHSI分類手法と比較して、提案されたCAD-GCNはどれほど効率的か？

主な発見

• インド・パインズデータセットでは、CAD-GCNが98.23% ± 0.54の最高全体正確度（OA）を達成し、比較されたすべての最先端手法を上回った。
• パリ大学データセットでは、CAD-GCNが97.95% ± 0.71のOAを達成し、空間的変動が著しい複雑な都市景観において優れた性能を示した。
• サリナスデータセットでは、CAD-GCNが95.36% ± 0.55のOAを達成し、大規模かつ多様性に富んだ環境でも高いロバスト性を示した。
• アブレーションスタディの結果、グラフプロジェクション、動的エッジ精緻化、エッジフィルタのいずれかを除去するとOAが著しく低下し、3要素すべての必要性が裏付けられた。
• CAD-GCNはベースラインのGCNおよびCNNベースのモデルと比較して著しく効率的であり、推論時間はインド・パインズで44秒、パリ大学で90秒、サリナスで556秒であり、一部のベースラインより1500秒以上短い。
• インド・パインズデータセットでは、平均正確度（AA）が98.79% ± 0.22、カッパ係数が98.03% ± 0.60を達成し、全クラスにわたる高い一貫性と信頼性を示した。