[論文レビュー] SCG-Net: Self-Constructing Graph Neural Networks for Semantic Segmentation

Qinghui Liu, Michael Kampffmeyer+2 more|arXiv (Cornell University)|Sep 3, 2020

Advanced Neural Network Applications参考文献 53被引用数 12

ひとこと要約

本稿では、特徴マップから微分可能グラフ構築モジュールを介して直接長距離ピクセル依存関係を学習する自己構築型グラフニューラルネットワーク、SCG-Netを提案する。この手法により、セマンティックセグメンテーションにおける効率的なグローバルコンテキストモデリングが可能となる。本手法は、ISPRS PotsdamおよびVaihingenデータセットにおいて、それぞれ92.0%および89.8%の平均F1スコアを達成し、同等のCNNベースのモデルと比較してパラメータ数が少なく、計算コストも低いという、最先端の性能を発揮する。

ABSTRACT

Capturing global contextual representations by exploiting long-range pixel-pixel dependencies has shown to improve semantic segmentation performance. However, how to do this efficiently is an open question as current approaches of utilising attention schemes or very deep models to increase the models field of view, result in complex models with large memory consumption. Inspired by recent work on graph neural networks, we propose the Self-Constructing Graph (SCG) module that learns a long-range dependency graph directly from the image and uses it to propagate contextual information efficiently to improve semantic segmentation. The module is optimised via a novel adaptive diagonal enhancement method and a variational lower bound that consists of a customized graph reconstruction term and a Kullback-Leibler divergence regularization term. When incorporated into a neural network (SCG-Net), semantic segmentation is performed in an end-to-end manner and competitive performance (mean F1-scores of 92.0% and 89.8% respectively) on the publicly available ISPRS Potsdam and Vaihingen datasets is achieved, with much fewer parameters, and at a lower computational cost compared to related pure convolutional neural network (CNN) based models.

研究の動機と目的

• リモートセンシングのセマンティックセグメンテーションにおいて、長距離ピクセル依存関係を効率的にモデリングする課題に対処すること。
• グラフベースのモデルにおける手動で設計されたまたは静的な事前知識グラフに依存しないこと。
• 畳み込みニューラルネットワークを活用した密度予測タスクに適した、軽量でエンドツーエンドで訓練可能なフレームワークを構築すること。
• 高解像度空中画像における車両や建物のような複雑で小規模かつコンテキスト依存のオブジェクトの性能を向上させること。
• 深層CNNやアテンションベースのモデルと比較して、計算コストおよびパラメータコストを低減すること。

提案手法

• 変分オートエンコーダーに類似したフレームワークを用いて、CNN特徴マップから直接潜在的グラフ構造を学習する自己構築型グラフ（SCG）モジュールを導入する。
• ノード埋め込みとエッジ確率を最適化する微分可能グラフ構築機構を採用し、カスタマイズされたグラフ再構築項とKullback-Leiblerダイバージェンス正則化を含む変分下界を用いる。
• 訓練の安定化とグラフ構造学習の向上を図るために、適応的対角強化法を適用する。
• 2層のGNN（例：GCNまたはGIN）を用いて、学習されたグラフ上で文脈情報をノード間で伝搬させ、ノードレベル分類を実行する。
• 最終的なノード予測を2次元画像空間に再投影し、密度予測用のセマンティックセグメンテーションマスクを生成する。
• 標準的なバックプロパゲーションを用いて、モデル全体をエンドツーエンドで訓練する。

実験結果

リサーチクエスチョン

• RQ1 事前知識グラフなしで、学習可能でエンドツーエンド微分可能なグラフ構築機構が、セマンティックセグメンテーションにおける長距離依存関係を効果的にモデリングできるか。
• RQ2 SCG-Netの性能は、強力なCNNベースおよびアテンションベースのモデルと比較して、精度、パラメータ効率、計算コストの観点でどの程度優れているか。
• RQ3 自己構築グラフが訓練の安定性および収束速度にどの程度寄与しているか。
• RQ4 スペクトル的および空間的GNN（例：GCN対GIN）の異なるアーキテクチャが、特に小規模で密集したオブジェクトにおいて性能にどのように影響を与えるか。
• RQ5 学習されたグラフ構造がモデル性能にどの程度貢献しているか、また学習された依存関係はどの程度解釈可能か。

主な発見

• SCG-NetはISPRS Potsdamデータセットで92.0%、Vaihingenデータセットで89.8%の平均F1スコアを達成し、顕著に少ないパラメータ数で強力なベースラインと同等またはそれを上回る性能を発揮した。
• 深層CNNやDANet、Non-Localネットワークなどのアテンションベースのモデルと比較して、計算コストとパラメータ数を削減した。
• 推論時に学習されたグラフ構造を除去すると、mF1が2.4%低下し、訓練ステップ数が5倍に増加した。これは、グラフが性能および訓練効率において極めて重要な役割を果たしていることを示している。
• SCG-Netフレームワーク内でGCNとGINを組み合わせることで、車両などの小規模オブジェクトのF1スコアが最大0.8%向上した。これは、スペクトル的および空間的GNNの相補的利点が裏付けられた結果である。
• 密に配置された小規模オブジェクトのセグメンテーションにおいて、しばしば複数のオブジェクトが1つのセグメントに統合されるという限界が見られ、現在のGNNでは空間的局在化に課題があることが示唆された。
• アブレーションスタディの結果、SCGモジュールが性能に不可欠であることが確認された。このモジュールを含まないバリアントでは、精度と訓練効率が顕著に低下した。