[論文レビュー] DeepGCNs: Can GCNs Go as Deep as CNNs?

Guohao Li, Matthias Müller+2 more|arXiv (Cornell University)|Apr 7, 2019

Advanced Graph Neural Networks参考文献 49被引用数 107

ひとこと要約

残差、密結合、および拡張接続戦略を提案し、点群セマンティックセグメンテーションのための非常に深い Graph Convolutional Networks (GCN) を訓練し、56-layer GCN で state-of-the-art を上回る 3.7% の mIoU 増加を達成。

ABSTRACT

Convolutional Neural Networks (CNNs) achieve impressive performance in a wide variety of fields. Their success benefited from a massive boost when very deep CNN models were able to be reliably trained. Despite their merits, CNNs fail to properly address problems with non-Euclidean data. To overcome this challenge, Graph Convolutional Networks (GCNs) build graphs to represent non-Euclidean data, borrow concepts from CNNs, and apply them in training. GCNs show promising results, but they are usually limited to very shallow models due to the vanishing gradient problem. As a result, most state-of-the-art GCN models are no deeper than 3 or 4 layers. In this work, we present new ways to successfully train very deep GCNs. We do this by borrowing concepts from CNNs, specifically residual/dense connections and dilated convolutions, and adapting them to GCN architectures. Extensive experiments show the positive effect of these deep GCN frameworks. Finally, we use these new concepts to build a very deep 56-layer GCN, and show how it significantly boosts performance (+3.7% mIoU over state-of-the-art) in the task of point cloud semantic segmentation. We believe that the community can greatly benefit from this work, as it opens up many opportunities for advancing GCN-based research.

研究の動機と目的

• 非ユークリッドデータに対する GCN の深さの制限を動機づけ、解決する。
• CNN に着想を得たメカニズム（残差結合/密結合、拡張畳み込み）を GCN に適用する。
• これらのメカニズムが訓練の安定性と性能へ与える影響を調査する。
• 大規模点群セマンティックセグメンテーション（S3DIS）で深い GCN の有効性を示す。
• 将来の深い GCN 設計を導く包括的なアブレーションを提供する。

提案手法

• 特徴豊かな頂点埋め込みと近傍集約でグラフを表現する。
• 深い GCN における勾配フローを改善するために残差および密結合スキームを導入する（ResGCN, DenseGCN）。
• 解像度の損失なしに受容野を広げるために拡張された k-NN ベースの隣接サンプリングを組み込む。
• 3-block アーキテクチャを採用する：GCN バックボーンブロック、フュージョンブロック、MLP 予測ブロック。
• 訓練時にレイヤーごとに再計算される拡張 k-NN を用いた動的エッジを使用（訓練時は確率的）。
• 安定性と性能への影響を分離するため、深さ、幅、近傍、および拡張の広範なアブレーション研究を実施する。

実験結果

リサーチクエスチョン

• RQ1 CNN に着想を得た深さ強化技術（残差/密結合、拡張）が GCN に効果的に翻訳できるか。
• RQ2 残差結合と密結合、拡張集約が深い GCN の安定性と性能に与える影響は何か。
• RQ3 点群セマンティックセグメンテーションにおいて GCN はどれだけ深く設計でき、どの構成が最も大きな利得を生むか。
• RQ4 拡張集約は受容野を拡大し、過度の過平滑化を避けつつセグメンテーション精度を向上させるか。
• RQ5 深い ResGCN/DenseGCN のS3DISにおける現状手法との比較性能はどうか。

主な発見

手法	OA	mIoU	天井	床	壁	梁	柱	窓	扉	机	椅子	ソファ	本棚	板	散乱物
PointNet	78.5	47.6	88.0	88.7	69.3	42.4	23.1	47.5	51.6	54.1	42.0	9.6	38.2	29.4	35.2
MS+CU	79.2	47.8	88.6	95.8	67.3	36.9	24.9	48.6	52.3	51.9	45.1	10.6	36.8	24.7	37.5
G+RCU	81.1	49.7	90.3	92.1	67.9	44.7	24.2	52.3	51.2	58.1	47.4	6.9	39.0	30.0	41.9
3DRNN+CF	86.9	56.3	92.9	93.8	73.1	42.5	25.9	47.6	59.2	60.4	66.7	24.8	57.0	36.7	51.6
DGCNN	84.1	56.1	-	-	-	-	-	-	-	-	-	-	-	-	-
ResGCN-28 (Ours)	85.9	60.0	93.1	95.3	78.2	33.9	37.4	56.1	68.2	64.9	61.0	34.6	51.5	51.1	54.4

• 残差グラフ接続は深い GCN の安定した訓練に不可欠であり、これを除くと性能が著しく劣化する。
• 拡張グラフ畳み込みは受容野を拡大することで mIoU に顕著な利得をもたらし、特に残差接続と組み合わせた場合に顕著。
• 拡張 k-NN による動的（再計算）エッジは性能を向上させるが、計算コストが高くなる。
• 密結合は残差と同様の利得をもたらすが、メモリコストが大きくなる場合があり、実用的には残差の方が現実的。
• 参照モデル ResGCN-28（28 層、残差接続、拡張畳込み）は S3DIS で 60.0 mIoU を達成し、最先端手法（例: DGCNN）を顕著に上回る。
• 深いアーキテクチャ（56 層）でこれらのメカニズムを適用すると強力な結果を得られ、ResGCN-56 は 53.64 OA を達成し、53.64? 実際には 53.64 OA、- 要点はベースラインを大幅に mIoU で改善。