[論文レビュー] Can GCNs Go as Deep as CNNs

Guohao Li, Matthias Müller+2 more|arXiv (Cornell University)|Apr 7, 2019

Advanced Graph Neural Networks被引用数 36

ひとこと要約

本論文は、畳み込みニューラルネットワーク（CNN）の残差接続および密集接続にインspiredされた深層グラフ畳み込みネットワーク（GCN）フレームワークを提案する。さらに、拡張畳み込み（dilated convolutions）を組み合わせることで、非常に深いGCNの学習が可能となり、点群のセマンティックセグメンテーションにおいて、SOTA（最先端）を3.7% mIoU向上させる56層モデルを実証した。

ABSTRACT

Convolutional Neural Networks (CNNs) achieve impressive performance in a wide variety of fields. Their success benefited from a massive boost when very deep CNN models were able to be reliably trained. Despite their merits, CNNs fail to properly address problems with non-Euclidean data. To overcome this challenge, Graph Convolutional Networks (GCNs) build graphs to represent non-Euclidean data, borrow concepts from CNNs, and apply them in training. GCNs show promising results, but they are usually limited to very shallow models due to the vanishing gradient problem. As a result, most state-of-the-art GCN models are no deeper than 3 or 4 layers. In this work, we present new ways to successfully train very deep GCNs. We do this by borrowing concepts from CNNs, specifically residual/dense connections and dilated convolutions, and adapting them to GCN architectures. Extensive experiments show the positive effect of these deep GCN frameworks. Finally, we use these new concepts to build a very deep 56-layer GCN, and show how it significantly boosts performance (+3.7% mIoU over state-of-the-art) in the task of point cloud semantic segmentation. We believe that the community can greatly benefit from this work, as it opens up many opportunities for advancing GCN-based research.

研究の動機と目的

• 既存のモデルで制限を受ける深層GCNにおける勾配消失問題に対処すること。
• 深層CNNと同等の非常に深いGCNアーキテクチャの学習を可能にすること。
• 特に点群のセマンティックセグメンテーションにおいて、非ユークリッドデータにおける性能を向上させること。
• 成功したCNN技術—残差接続および密集接続、拡張畳み込み—をGCNフレームワークに適応すること。

提案手法

• 深層アーキテクチャにおける勾配消失を軽減するために、CNNからインspiredされた残差接続および密集スルー接続をGCNに適応する。
• パラメータ数や層の数を増加させずに受容 field を拡大するために、GCNに拡張畳み込みを導入する。
• 残差接続を用いて、最大56層までの学習が可能な深層GCNアーキテクチャを設計する。
• グラフ畳み込み層を採用し、グラフ内の隣接ノードからの特徴を集約する学習可能なフィルタを備える。
• 勾配の流れを維持するためにアイデンティティショートカットを用い、学習安定性を向上させる。
• 拡張畳み込みによるマルチスケールの受容 field を統合し、深層GCNにおける特徴表現を強化する。

実験結果

リサーチクエスチョン

• RQ1 GCNは、勾配消失の問題に見舞われることなく、CNNと同様に非常に深い構造に学習可能か？
• RQ2 残差接続および密集接続は、GCNアーキテクチャにおける学習深さをどのように向上させるか？
• RQ3 拡張畳み込みは、GCNにおける受容 field の拡大にどのような影響を与えるか？
• RQ4 56層のGCNは、点群のセマンティックセグメンテーションにおいてSOTA性能を達成できるか？
• RQ5 残差、密集、および拡張メカニズムを組み合わせることで、どの程度の性能向上が達成可能か？

主な発見

• 提案された深層GCNフレームワークは、通常のGCNが3〜4層に制限されるのに対し、56層のモデルを成功裏に学習可能である。
• 56層のGCNは、点群のセマンティックセグメンテーションにおいて、SOTA手法を3.7% mIoU向上させた。
• 残差接続および密集接続は、深層GCNにおける勾配消失問題を効果的に軽減する。
• 拡張畳み込みは、モデルの深さを増加させずに受容 field を拡大することで、特徴表現を強化する。
• 残差、密集、および拡張メカニズムの組み合わせは、実験全体にわたり一貫した性能向上をもたらす。
• このフレームワークは、GCNが非ユークリッドデータタスクにおいて深層CNNと同等の性能を達成可能であることを示している。