[論文レビュー] Training Robust Graph Neural Networks with Topology Adaptive Edge Dropping

Zhan Gao, Subhrajit Bhattacharya+4 more|arXiv (Cornell University)|Jun 5, 2021

Advanced Graph Neural Networks参考文献 52被引用数 12

ひとこと要約

本稿では、グラフニューラルネットワーク（GNN）の一般化性能を向上させるために、データ拡張中に構造的整合性を保持するトポロジーに配慮したエッジドロップ手法TADropEdgeを提案する。グラフスペクトルに基づくエッジ重みを活用して、接続性に重要なエッジを優先し、TADropEdgeはより重要なエッジを保持しながら、不必要なエッジを適応的にドロップすることで、ノイズの多い部分グラフを低減し、学術的および合成ネットワークにおいて性能を向上させる。

ABSTRACT

Graph neural networks (GNNs) are processing architectures that exploit graph structural information to model representations from network data. Despite their success, GNNs suffer from sub-optimal generalization performance given limited training data, referred to as over-fitting. This paper proposes Topology Adaptive Edge Dropping (TADropEdge) method as an adaptive data augmentation technique to improve generalization performance and learn robust GNN models. We start by explicitly analyzing how random edge dropping increases the data diversity during training, while indicating i.i.d. edge dropping does not account for graph structural information and could result in noisy augmented data degrading performance. To overcome this issue, we consider graph connectivity as the key property that captures graph topology. TADropEdge incorporates this factor into random edge dropping such that the edge-dropped subgraphs maintain similar topology as the underlying graph, yielding more satisfactory data augmentation. In particular, TADropEdge first leverages the graph spectrum to assign proper weights to graph edges, which represent their criticality for establishing the graph connectivity. It then normalizes the edge weights and drops graph edges adaptively based on their normalized weights. Besides improving generalization performance, TADropEdge reduces variance for efficient training and can be applied as a generic method modular to different GNN models. Intensive experiments on real-life and synthetic datasets corroborate theory and verify the effectiveness of the proposed method.

研究の動機と目的

• 限られたトレーニングデータによるGNNの過学習問題を解決すること。
• DropEdgeのようなi.i.d.エッジドロップ手法の限界を克服し、構造的にノイズの多い部分グラフを生成することで性能が低下することを防ぐこと。
• エッジドロッププロセスにグラフのトポロジー、特に接続性を組み込むことで、GNNトレーニングにおけるデータ拡張を改善すること。
• あらゆるGNNアーキテクチャに適用可能な汎用的でモジュラーな手法を開発し、トレーニングの安定性と性能を向上させること。
• エッジドロップ時にトポロジー構造を保持することで、より効果的でロバストなGNN学習が達成されることを示すこと。

提案手法

• エッジドロップの前段階として、入力グラフ内の非交差な連結成分を特定し、構造的領域を局所化すること。
• グラフスペクトルから導出される集約抵抗重みを用いて、各エッジの接続性に与える影響度（重要度）を定量化する接続性関連エッジ重みを計算すること。
• エッジ重みを正規化し、相対的な重要度を維持しながら確率的サンプリングを可能にすること。
• 正規化された重みが低いエッジをより頻繁にサンプリングすることで、適応的エッジドロップを実行し、高接続構造を保持すること。
• 任意のGNNバックボーンに対して、アーキテクチャの変更なしに統合可能なプラグインモジュールとして本手法を統合すること。
• 得られたエッジドロップ部分グラフを拡張されたトレーニングデータとして使用し、モデルの一般化性能を向上させ、分散を低減すること。

実験結果

リサーチクエスチョン

• RQ1 ランダムエッジドロップはGNNにおけるデータ多様性と一般化にどのように影響するのか。また、なぜi.i.d.エッジドロップは非効率的なのか。
• RQ2 エッジドロップ時にグラフ接続性を保持することで、標準的なデータ拡張と比較してGNN性能がどの程度向上するのか。
• RQ3 トポロジーに配慮したエッジドロップは、さまざまなGNNアーキテクチャにおいてトレーニング分散を低減し、ロバスト性を向上させるのか。
• RQ4 TADropEdgeの性能は、学術的および合成グラフベンチマークにおいて、最先端のGNN手法と比較してどの程度優れているのか。
• RQ5 特に強いクラスタリング特性を示すグラフ構造においても、本手法は優れた性能を維持するのか。

主な発見

• Cora（GCNで88.30%の正確度）、CiteSeer（81.40%）、PubMed（91.50%）の各データセットで、FastGCN、AS-GCN、GraphSAGEを含む既存のSOTA手法を上回る最先端の性能を達成した。
• PubMedデータセットでは、TADropEdge-GCNが3層アーキテクチャで91.50%の正確度を達成し、GraphSAGEの87.10%およびNeuralSparseの85.00%を顕著に上回った。
• 確率的ブロックモデルグラフにおけるソース局所化タスクでは、カットオフしきい値を用いたTADropEdgeが86.0%の正確度を達成し、DropEdge（83.6%）および元のGCNN（82.0%）を上回った。
• 強いクラスタリング特性を示すグラフ（例：Cora、CiteSeer）において性能向上が顕著に現れ、構造的整合性が重要となる状況ではトポロジーに配慮したドロップが特に効果的であることが示された。
• TADropEdgeは、GCN、JKNet、IncepGCNといった複数のGNNバックボーンにおいて一貫して一般化性能を向上させ、モジュラリティと広範な適用可能性を示した。
• トポロジーに依存しない歪みの大きい部分グラフを避けることで、トレーニング分散が低減し、より安定的で効率的な最適化が実現された。