[論文レビュー] DropEdge: Towards the Very Deep Graph Convolutional Networks for Node Classification

Yu Rong, Wenbing Huang+2 more|arXiv (Cornell University)|Jul 25, 2019

Advanced Neural Network Applications被引用数 7

ひとこと要約

この論文は、GCNの逆誤差伝搬中にエッジをランダムに削除することで過学習と過剰平滑化を軽減する訓練手法であるDropEdgeを提案する。データ拡張およびメッセージ伝達正則化として機能することで、30層を超えるGCNの訓練が可能になり、ノード分類ベンチマークで最先端の性能を達成する。

ABSTRACT

Existing Graph Convolutional Networks (GCNs) are shallow---the number of the layers is usually not larger than 2. The deeper variants by simply stacking more layers, unfortunately perform worse, even involving well-known tricks like weight penalizing, dropout, and residual connections. This paper reveals that developing deep GCNs mainly encounters two obstacles: \emph{over-fitting} and \emph{over-smoothing}. The over-fitting issue weakens the generalization ability on small graphs, while over-smoothing impedes model training by isolating output representations from the input features with the increase in network depth. Hence, we propose DropEdge, a novel technique to alleviate both issues. At its core, DropEdge randomly removes a certain number of edges from the input graphs, acting like a data augmenter and also a message passing reducer. More importantly, DropEdge enables us to recast a wider range of Convolutional Neural Networks (CNNs) from the image field to the graph domain; in particular, we study DenseNet and InceptionNet in this paper. Extensive experiments on several benchmarks demonstrate that our method allows deep GCNs to achieve promising performance, even when the number of layers exceeds 30---the deepest GCN that has ever been proposed.

研究の動機と目的

• 従来のGCNが深層構造を用いると性能が低下するため、通常は浅層（≤2層）にとどまっているという限界を是正すること。
• 深層GCNの訓練における2つの主要な障壁、すなわち小さなグラフにおける過学習と、ノード表現が入力特徴から分離する過剰平滑化を特定し、緩和すること。
• DenseNet や InceptionNet といった深層CNNアーキテクチャをグラフ学習分野に適応可能にするために、堅牢な訓練正則化手法を導入すること。
• 従来は実行不可能とされていた深層GCNが、DropEdgeで訓練されることで強力な性能を発揮できることを示すこと。

提案手法

• DropEdgeは、各順伝播処理において入力グラフから固定割合のエッジをランダムに削除する確率的エッジプルーニング機構を導入する。
• エッジの削除はデータ拡張の一種として機能し、訓練の多様性を高め、小さなグラフにおける過学習を軽減する。
• メッセージ伝達のエッジ数を減らすことで、DropEdgeは過剰平滑化を緩和し、より深い層にわたって入力ノード特徴からの情報が保持される。
• この手法は標準的なGCNレイヤーと互換性があり、アーキテクチャの変更なしに既存のGCNフレームワークにスムーズに統合可能である。
• エッジ正則化による訓練の安定化のおかげで、DenseNet や InceptionNet といった深層CNNアーキテクチャのグラフデータへの応用が可能になる。
• バックプロパゲーション中に適用され、エッジドロップアウト率は調整可能なハイパーパrameterとして扱われる。

実験結果

リサーチクエスチョン

• RQ1 単純なエッジプルーニング機構は、深層GCNにおける過学習と過剰平滑化を効果的に軽減できるか？
• RQ2 DropEdgeは、従来の深さの制限を超えて30層を超えるGCNの訓練をどの程度可能にするか？
• RQ3 DropEdgeは、DenseNet や InceptionNet といった深層CNNアーキテクチャをグラフ学習分野に成功裏に適用可能にするか？
• RQ4 DropEdgeは、ドロップアウトや重み減衰といった標準的な正則化手法と比較して、深層GCNの訓練をどの程度効果的に支援するか？
• RQ5 過学習が深刻な問題となる小さなグラフにおいて、DropEdgeは一般化性能を向上させるか？

主な発見

• DropEdgeは、30層を超えるGCNの訓練を可能にし、これまでに提案された中で最も深いGCNモデルを実現する。
• Cora、PubMed、Citeseer といった複数のベンチマークで、ノード分類性能が顕著に向上し、特に深層設定において顕著な改善が得られた。
• 浅層および深層の両方のGCN構成において、ドロップアウトや重み減衰といった標準的な正則化手法を上回る性能を発揮した。
• 過剰平滑化が軽減されたことで、より高い層においても入力特徴情報が保持され、より良い表現学習が実現した。
• DenseNet や InceptionNet といった深層CNNアーキテクチャをグラフデータに成功裏に適応可能にし、ノード分類タスクで最先端の結果を達成した。
• 実験の結果、過学習が深刻な問題となる小さなグラフにおいても、DropEdgeは一般化性能を向上させた。