[論文レビュー] Learning to Drop: Robust Graph Neural Network via Topological Denoising

Dongsheng Luo, Wei Cheng+5 more|arXiv (Cornell University)|Nov 13, 2020

Advanced Graph Neural Networks参考文献 54被引用数 15

ひとこと要約

本稿では、タスクに不要なエッジを学習的に削除することで、グラフニューラルネットワーク（GNN）のロバスト性を向上させるパラメータ化されたトポロジカルノイズ除去ネットワーク、PTDNetを提案する。エッジのスパarsificationと核ノルム正則化を組み合わせることで低ランク構造を強制し、GNNの一般化性能を向上させる。ノイズの多いデータセットにおいて特に顕著な性能向上を達成し、ノード分類およびリンク予測のタスクで顕著な性能向上を実現する。

ABSTRACT

Graph Neural Networks (GNNs) have shown to be powerful tools for graph analytics. The key idea is to recursively propagate and aggregate information along edges of the given graph. Despite their success, however, the existing GNNs are usually sensitive to the quality of the input graph. Real-world graphs are often noisy and contain task-irrelevant edges, which may lead to suboptimal generalization performance in the learned GNN models. In this paper, we propose PTDNet, a parameterized topological denoising network, to improve the robustness and generalization performance of GNNs by learning to drop task-irrelevant edges. PTDNet prunes task-irrelevant edges by penalizing the number of edges in the sparsified graph with parameterized networks. To take into consideration of the topology of the entire graph, the nuclear norm regularization is applied to impose the low-rank constraint on the resulting sparsified graph for better generalization. PTDNet can be used as a key component in GNN models to improve their performances on various tasks, such as node classification and link prediction. Experimental studies on both synthetic and benchmark datasets show that PTDNet can improve the performance of GNNs significantly and the performance gain becomes larger for more noisy datasets.

研究の動機と目的

• 現実世界のグラフにおけるノイズが多く、タスクに不要なエッジが一般化性能を低下させるというGNNの脆弱性に対処する。
• 推論時にも効果が薄い既存の非パラメータ化されたエッジドロップ手法（例：DropEdge）の限界を克服する。
• ノード特徴量とグローバルなグラフトポロジの両方を基に、エッジを学習的にプルーニングする微分可能でパラメータ化されたフレームワークを開発する。
• ノード分類やリンク予測などの下流タスクにおけるGNN性能を、ロバスト性の向上と過剰スムージングの緩和によって向上させる。
• GCN、GraphSAGE、GATなどのさまざまなGNNアーキテクチャと互換性がある、プラグインモジュールとしてのトポロジカルノイズ除去を統合する。

提案手法

• 学習されたアテンション重みに基づいてエッジをドロップすることができる微分可能なトポロジカルノイズ除去ネットワークを用いたパラメータ化されたエッジプルーニング機構を提案する。
• エッジ数を制限するためのtop-kスパース化戦略を適用し、各ノードに対して学習されたスコアに基づいて上位k本のエッジを選択する。
• スパース化された隣接行列に核ノルム正則化を適用して低ランク構造を強制し、一般化性能の向上と過剰スムージングの低減を図る。
• 下流タスクの損失関数を用いて、GNNバックボーンと同時に端末から端末まで訓練することで、タスク固有のエッジプルーニングを可能にする。
• エッジの保持を制御する学習可能なゲート機構を用い、ノイズが多いまたは不要な接続を動的に抑制できるようにする。
• PTDNetをGNN層の前処理モジュールとして統合することで、複数のGNNアーキテクチャとの互換性を実現する。

Figure 1. Performance of GCN w.r.t. removing positive and negative edges on Cora.

実験結果

リサーチクエスチョン

• RQ1 学習可能でパラメータ化されたエッジドロップ機構は、ノイズの多い現実世界のグラフにおいてGNNのロバスト性と一般化性能を向上させることができるか？
• RQ2 核ノルム正則化を用いたトポロジカルノイズ除去は、構造のないエッジドロップ（例：DropEdge）と比較して、過剰スムージングをどれほど効果的に緩和できるか？
• RQ3 PTDNetは、グラフのノイズレベルが異なる状況下でも、ノード分類およびリンク予測タスクにおける性能をどの程度向上させるか？
• RQ4 ノイズ除去プロセスを下流タスクと同時に最適化することで、タスク固有で意味のあるエッジプルーニングが得られるか？
• RQ5 ノイズ除去プロセスにおいてノード特徴量とグローバルなグラフトポロジの両方を統合することで、片方の情報に依存する手法よりも優れた性能が得られるか？

主な発見

• PTDNetはノード分類タスクにおいてGNN性能を顕著に向上させ、CoraとCiteseerではGCNおよびDropEdgeと比較して1.5–2.5%の絶対的向上を達成した。
• Pubmedデータセットでは、リンク予測においてAUC 0.966、AP 0.966を達成し、GCN（AUC: 0.964、AP: 0.965）およびNeuralSparseを上回った。
• PTDNetの性能向上は、グラフのノイズ量に比例して増大し、特にノイズが多いデータセットにおいて優れたロバスト性を示した。
• 特に深層GNN（例：16層）において、PTDNetはDropEdgeを常に上回った。これは、テスト時にもパラメータ化されたエッジドロップが有効であるためである。
• 核ノルム正則化が一般化性能の向上に寄与していることが、過剰スムージングの低減と深層アーキテクチャにおける良好な性能から裏付けられた。
• アブレーションスタディの結果、top-kスパース化と核ノルムの両方のコンponentが不可欠であることが確認され、いずれかを除去すると平均で1–2%の性能低下が生じた。

(a) Framework of PTDNet.