[論文レビュー] DropEdge: Towards Deep Graph Convolutional Networks on Node Classification

Yu Rong, Wenbing Huang+2 more|arXiv (Cornell University)|Jul 25, 2019

Advanced Graph Neural Networks参考文献 33被引用数 627

ひとこと要約

DropEdgeはトレーニング中にエッジをランダムに削除してグラフデータを拡張し、メッセージパッシングの密度を低減させることで、深いGCNを可能にし、複数のバックボーンにわたるノード分類性能を向上させる。

ABSTRACT

\emph{Over-fitting} and \emph{over-smoothing} are two main obstacles of developing deep Graph Convolutional Networks (GCNs) for node classification. In particular, over-fitting weakens the generalization ability on small dataset, while over-smoothing impedes model training by isolating output representations from the input features with the increase in network depth. This paper proposes DropEdge, a novel and flexible technique to alleviate both issues. At its core, DropEdge randomly removes a certain number of edges from the input graph at each training epoch, acting like a data augmenter and also a message passing reducer. Furthermore, we theoretically demonstrate that DropEdge either reduces the convergence speed of over-smoothing or relieves the information loss caused by it. More importantly, our DropEdge is a general skill that can be equipped with many other backbone models (e.g. GCN, ResGCN, GraphSAGE, and JKNet) for enhanced performance. Extensive experiments on several benchmarks verify that DropEdge consistently improves the performance on a variety of both shallow and deep GCNs. The effect of DropEdge on preventing over-smoothing is empirically visualized and validated as well. Codes are released on~\url{https://github.com/DropEdge/DropEdge}.

研究の動機と目的

• ノード分類のための深い GCN における過学習と過平滑化の課題を動機づける。
• 柔軟なエッジ削除データ拡張手法として DropEdge を提案する。
• DropEdge が過平滑化を遅らせ、深い GCN で情報を保持する方法を分析する。

提案手法

• DropEdge は各トレーニングエポックごとに入力グラフからエッジの一部 p をランダムに削除して、撹乱された隣接行列を作成する。
• Kipf & Welling の手法と同様に削除された隣接を正規化し、それを前向き伝播に使用する。
• 異なる層が独立にドロップされた隣接行列を使用する層別バリアントを許可する。
• DropEdge が過平滑化の収束を遅らせるか、情報損失を減らすことを示す理論的正当性を提供する。
• GCN、ResGCN、JKNet、IncepGCN、GraphSAGE などのバックボーンでの適合性と経験的利得を示す。

実験結果

リサーチクエスチョン

• RQ1 DropEdge は小さなグラフにおける深い GCN の過学習を緩和しつつ、表現品質を維持できるか？
• RQ2 DropEdge は過平滑化を遅らせ、入力特徴情報を失うことなくより深い GCN を実現できるか？
• RQ3 ノード分類のための異なるバックボーンアーキテクチャへの DropEdge の転移性はどれくらいか？
• RQ4 ベンチマーク全体で学習ダイナミクスと検証性能に対する DropEdge の実証的影響は何か？

主な発見

• DropEdge は複数のデータセットでさまざまなバックボーンのテスト精度を一貫して向上させる。
• DropEdge は 2 層を超えるより深いアーキテクチャの性能を向上させ、設定によってはメモリ問題を回避する。
• この手法は Cora の 4-layer モデルで検証損失が低下することによって過学習を抑制する。
• DropEdge は追加の利得のために Dropout と組み合わせることができる。
• 層別 DropEdge は高い計算コストでわずかな訓練改善を提供する。
• DropEdge は Reddit などのデータセットでいくつかの SOTA 手法を上回る。