[論文レビュー] Self-Constructing Graph Convolutional Networks for Semantic Labeling

Qinghui Liu, Michael Kampffmeyer+2 more|arXiv (Cornell University)|Mar 15, 2020

Advanced Neural Network Applications参考文献 15被引用数 4

ひとこと要約

本稿では、入力特徴量から事前の知識なしに最適化された非局所的コンテキストグラフを自己構築する能力を学習する、新しいアーキテクチャである自己構築型グラフ畳み込みネットワーク（SCG-Net）を提案する。可学習な潜在変数と、適応的対角強化を施した変分下界を用いることで、SOTAモデルと比較して14%少ないパラメータ数と低いFLOPsで、ISPRS Vaihingenデータセットにおいて89.8%のF1スコアを達成した。

ABSTRACT

Graph Neural Networks (GNNs) have received increasing attention in many fields. However, due to the lack of prior graphs, their use for semantic labeling has been limited. Here, we propose a novel architecture called the Self-Constructing Graph (SCG), which makes use of learnable latent variables to generate embeddings and to self-construct the underlying graphs directly from the input features without relying on manually built prior knowledge graphs. SCG can automatically obtain optimized non-local context graphs from complex-shaped objects in aerial imagery. We optimize SCG via an adaptive diagonal enhancement method and a variational lower bound that consists of a customized graph reconstruction term and a Kullback-Leibler divergence regularization term. We demonstrate the effectiveness and flexibility of the proposed SCG on the publicly available ISPRS Vaihingen dataset and our model SCG-Net achieves competitive results in terms of F1-score with much fewer parameters and at a lower computational cost compared to related pure-CNN based work. Our code will be made public soon.

研究の動機と目的

• 既存のグラフニューラルネットワーク（GNN）が、手動で構築された事前グラフに依存しているため、セマンティックラベリングにおいて限界を示していることに対処する。
• 事前の知識なしに、入力特徴量から最適なグラフ構造を自動で学習する手法を開発する。
• 自己構築されたグラフをディープラーニングパイプラインに統合し、空中画像における長距離依存関係のモデリングを向上させる。
• モデルの複雑さと計算コストを低減しつつ、競争力のあるセマンティックラベリング性能を達成する。

提案手法

• SCGモジュールは、再パラメータ化されたガウス変数を用いた変分オートエンコーダに類似したフレームワークにより、2次元特徴マップから潜在埋め込みを学習する。
• 微分可能なグラフ構築プロセスにより、潜在表現から重み付き隣接行列 $\hat{A}$ を生成し、エンドツーエンドの学習を可能にする。
• 適応的対角強化法により、$\gamma \cdot \text{diag}(A')$ を隣接行列に加えることで、近隣保持性を向上させる。
• グラフ再構築とカルバック・ライブラー発散正則化を組み合わせた変分下界損失を用いる。
• 最終予測の精緻化を目的に、残差予測ヘッド $\hat{\mathbf{y}} = \gamma \cdot \hat{\mathbf{z}}$ を導入する。
• SCG-Netは、CNNバックボーン（ResNet50）と2層のGCNを用いて、SCGモジュールと統合し、最終的なセマンティックセグメンテーションを実現する。

実験結果

リサーチクエスチョン

• RQ1 セマンティックラベリングのために、事前の知識グラフに依存せずに、生の特徴マップからグラフを自己構築できるか？
• RQ2 微分可能でエンドツーエンド学習可能なグラフ構築メカニズムは、空中画像における長距離コンテキストモデリングをどのように改善するか？
• RQ3 適応的対角強化と変分正則化は、グラフ品質とセグメンテーション性能にどのような影響を及ぼすか？
• RQ4 自己構築グラフアーキテクチャは、既存のCNNおよびGCNベースのモデルと比較して、少ないパラメータ数と低いFLOPsで競争力のある性能を達成できるか？

主な発見

• SCG-NetはISPRS VaihingenテストセットでF1スコア89.8%を達成し、最高性能を示したモデルDCCM-R50と同等の性能を示した。
• モデルは874万パラメータを有し、DCCM-R50の999万パラメータと比較して12.5%少ない。
• SCG-Netの計算コストは4.37 Giga FLOPsであり、DCCM-R50の4.86 Giga FLOPsと比較して低かった。
• 適応的対角強化法により、近隣保持性が向上し、より良いグラフ構造学習に寄与した。
• 定性的な結果から、特に複雑なオブジェクト領域において、SCG-Netの予測結果が正解に近いことが示された。
• 建物、木、低木など多様な土地被覆タイプにおいて、強力な汎化性能とロバストネスを示した。