[論文レビュー] GraphPatcher: Mitigating Degree Bias for Graph Neural Networks via Test-time Augmentation

Mingxuan Ju, Tong Zhao+3 more|arXiv (Cornell University)|Oct 1, 2023

Advanced Graph Neural Networks被引用数 4

ひとこと要約

GraphPatcher は、低次数ノードのエゴグラフを破損から補修するための仮想ノードを繰り返し生成することで、次数バイアスを軽減するテスト時増強フレームワークであり、高次数ノードの精度を損なうことなく、低次数ノードの性能を向上させる。GNN における低次数ノードの性能を最大 6.5% 向上させ、全体の性能を最大 3.6% 向上させ、最先端のベースラインを上回りながら、モデルに依存せず、即座に統合可能な仕組みである。

ABSTRACT

Recent studies have shown that graph neural networks (GNNs) exhibit strong biases towards the node degree: they usually perform satisfactorily on high-degree nodes with rich neighbor information but struggle with low-degree nodes. Existing works tackle this problem by deriving either designated GNN architectures or training strategies specifically for low-degree nodes. Though effective, these approaches unintentionally create an artificial out-of-distribution scenario, where models mainly or even only observe low-degree nodes during the training, leading to a downgraded performance for high-degree nodes that GNNs originally perform well at. In light of this, we propose a test-time augmentation framework, namely GraphPatcher, to enhance test-time generalization of any GNNs on low-degree nodes. Specifically, GraphPatcher iteratively generates virtual nodes to patch artificially created low-degree nodes via corruptions, aiming at progressively reconstructing target GNN's predictions over a sequence of increasingly corrupted nodes. Through this scheme, GraphPatcher not only learns how to enhance low-degree nodes (when the neighborhoods are heavily corrupted) but also preserves the original superior performance of GNNs on high-degree nodes (when lightly corrupted). Additionally, GraphPatcher is model-agnostic and can also mitigate the degree bias for either self-supervised or supervised GNNs. Comprehensive experiments are conducted over seven benchmark datasets and GraphPatcher consistently enhances common GNNs' overall performance by up to 3.6% and low-degree performance by up to 6.5%, significantly outperforming state-of-the-art baselines. The source code is publicly available at https://github.com/jumxglhf/GraphPatcher.

研究の動機と目的

• 実世界のパワー則次数分布下で顕著な低次数ノードと高次数ノードの間の性能格差を是正すること。
• 人工的な分布外の学習シナリオを生成することで高次数ノードの性能が低下する既存手法の制限を克服すること。
• 再トレーニングやアーキテクチャ変更なしに、テスト時に GNN を向上させるモデルに依存しない、即座に統合可能なフレームワークを開発すること。
• 繰り返し仮想ノード生成により、低次数ノードの性能を大幅に向上させつつ、高次数ノードの性能を維持または向上させること。
• 実用的で実稼働環境における、教師ありおよび自己教師あり GNN における効果的な次数バイアス軽減を可能にすること。

提案手法

• 破損強度を段階的に増加させるエゴグラフの系列を生成し、次第に劣化する近隣情報のシナリオを模擬する。
• 破損が最も深刻なエゴグラフに対して、繰り返し仮想ノードを生成し、破損したグラフにおける固定された GNN の予測と、補修されたグラフにおける予測を一致させることを目的とする。
• 破損したエゴグラフと補修されたエゴグラフの予測差を最小化する微分可能目的関数により、仮想ノードを最適化する。
• テスト時に適用され、ターゲット GNN の更新を一切不要としているため、モデルに依存せず、プラグインモジュールとして容易に導入可能である。
• 複数のサンプリングされたエゴグラフを各破損レベルごとに用いることで、最適化の安定性を高め、一般化性能を向上させるマルチステージ最適化プロセスを採用する。
• 反復的拡散プロセスをインspirationとしているが、データの忠実度を向上させるのではなく、下流の GNN 性能を向上させるために特に特化している。

Figure 1 : The classification accuracy of GCN and SoTA frameworks that mitigate degree biases.

実験結果

リサーチクエスチョン

• RQ1 テスト時増強フレームワークは、高次数ノードの性能を損なわずに、低次数ノードの GNN 性能を向上させることができるか？
• RQ2 仮想ノード生成をどのように最適化すれば、元の GNN のインダクティブバイアスを保持しつつ、スパースな近隣の予測を向上させることができるか？
• RQ3 モデルに依存しない、即座に統合可能なフレームワークは、多様なグラフデータセットおよび GNN アーキテクチャにおいて、どの程度次数バイアスを軽減できるか？
• RQ4 提案手法は、教師ありおよび自己教師あり GNN に一般化可能か。特に GRAND などの最先端モデルに対しても有効か？
• RQ5 反復的仮想ノード生成戦略は、従来のデータ増強またはグラフ生成技術と比較して、性能および効率面でどの程度優れているか？

主な発見

• GraphPatcher は、7つのベンチマークデータセットで低次数ノードの GNN 性能を最大 6.5% 向上させ、既存のベースラインを顕著に上回った。
• 全体の GNN 性能も最大 3.6% 向上させ、多様なグラフタイプおよびアーキテクチャで一貫した向上効果を示した。
• フレームワークは、元の GNN の高次数ノード性能を維持するか、場合によっては向上させ、過去の手法で見られる性能のトレードオフを回避した。
• GraphPatcher は、教師ありおよび自己教師あり GNN に両方効果的であり、GRAND などの最先端モデルに対しても、既存の SoTA をさらに上回る性能向上を実現した。
• 手法はモデルに依存せず、再トレーニングやアーキテクチャ変更が不要であり、既存のプロダクションパイプラインへのシームレスな統合を可能にした。
• 追加の計算コストは管理可能であり、すべてのエゴグラフが事前に生成されているため、最適化中に重複計算が発生しない。

Figure 2 : GraphPatcher is presented ego-graphs corrupted by increasing strengths (i.e., the top half of the figure). From the most corrupted graph, it iteratively generates patching nodes to the anchor node, such that the target GNN behaves similarly given the currently patched graph or the corrupt