[論文レビュー] Self-Enhanced GNN: Improving Graph Neural Networks Using Model Outputs

Han Yang, Yan Xiao+3 more|arXiv (Cornell University)|Feb 18, 2020

Advanced Graph Neural Networks参考文献 41被引用数 8

ひとこと要約

本稿では、事前学習済みGNNモデルの出力を用いて入力データを精錬することで、GNNの性能を向上させる汎用的フレームワークであるSelf-Enhanced GNN (SEG) を提案する。トポロジー更新によりクラス間エッジを低減し、トレーニングノード拡張により疑似ラベルを用いてラベル付きトレーニングセットを拡張することで、ベンチマークデータセット上でGCN、GAT、SGCの平均で16.2%の誤差低減を達成した。

ABSTRACT

Graph neural networks (GNNs) have received much attention recently because of their excellent performance on graph-based tasks. However, existing research on GNNs focuses on designing more effective models without considering much about the quality of the input data. In this paper, we propose self-enhanced GNN (SEG), which improves the quality of the input data using the outputs of existing GNN models for better performance on semi-supervised node classification. As graph data consist of both topology and node labels, we improve input data quality from both perspectives. For topology, we observe that higher classification accuracy can be achieved when the ratio of inter-class edges (connecting nodes from different classes) is low and propose topology update to remove inter-class edges and add intra-class edges. For node labels, we propose training node augmentation, which enlarges the training set using the labels predicted by existing GNN models. SEG is a general framework that can be easily combined with existing GNN models. Experimental results validate that SEG consistently improves the performance of well-known GNN models such as GCN, GAT and SGC across different datasets.

研究の動機と目的

• 入力データの品質を向上させることでGNNの性能を改善すること。これは、モデルの成功において極めて重要であるにもかかわらず、しばしば無視されがちな課題である。
• ノイズの多いグラフ構造（特にクラス間エッジ）と限られたラベル付きデータが、半教師ありノード分類を妨げているという問題に取り組む。
• 既存のGNNモデルの出力を活用して、反復的にデータ品質を向上させる汎用的フレームワークを構築すること。
• モデル予測を用いてグラフトポロジーとトレーニングセットのラベルを更新することで、GNNの共同学習と自己学習を可能にすること。
• 多様なGNNアーキテクチャと現実世界のデータセットに適応する技術を設計することで、耐障害性とスケーラビリティを確保すること。

提案手法

• 事前学習済みGNNからの予測ラベルに基づき、クラス間エッジを削除し、クラス内エッジを追加することで、グラフ内のノイズ比を低減するトポロジー更新（TU）を提案する。
• 複数の多様なGNNモデルが予測する高信頼度の疑似ラベルを用いて、トレーニングセットを拡張するトレーニングノード拡張（TNA）を実装する。
• 複数のGNNモデルのアンサンブル予測を用いることで、疑似ラベルノードのラベル信頼性を向上させ、誤差を低減する。
• 追加ノードの品質を制御するため、信頼度しきい値（τc）を導入し、高信頼度の予測のみをトレーニングセットに含める。
• TNAにおけるクラスバランスを導入し、拡張されたトレーニングセットにおける主要クラスへのモデルバイアスを防ぐ。
• 任意の既存GNNモデルと互換性があり、プラグアンドプレイで性能向上が可能なモジュール型のSEGフレームワークを設計する。

実験結果

リサーチクエスチョン

• RQ1 事前学習済みGNNモデルの出力を用いて、ノード分類性能を向上させるために入力データの品質を改善できるか？
• RQ2 トポロジー更新によるクラス間エッジの割合低減が、半教師ありノード分類の精度向上に寄与するか？
• RQ3 複数の多様なGNNモデルからの疑似ラベルを用いたトレーニングノード拡張は、モデルの一般化性能をどの程度向上させ、誤差を低減できるか？
• RQ4 疑似ラベル作成に用いるGNNモデルの多様性が、拡張されたトレーニングセットの信頼性にどのように影響するか？
• RQ5 提案された自己強化フレームワークは、アーキテクチャの変更なしに、さまざまなGNNアーキテクチャに普遍的に適用可能か？

主な発見

• SEGは、7つのベンチマークデータセットにおいてGCN、GAT、SGCの性能を一貫して向上させ、平均で16.2%の誤差低減を達成した。
• CORAデータセットでは、トポロジー更新によりクラス間エッジの82.6%が削除され、クラス内エッジが76.4%増加し、ノイズ比が著しく低減した。
• トレーニングノード拡張により、GCNを用いて826ノードが追加され、誤差率は10.05%に留まった。SGCは637ノードを追加し、誤差率は7.06%まで低下した。
• 2つの多様なGNNモデルを用いた疑似ラベル作成が、精度向上と誤差制御の両面で最良のバランスを達成し、2つを超えるモデルの追加では利得が減少した。
• TNAにおけるクラスバランスの導入により、モデル性能が著しく向上し、Amazon Photoデータセットでは誤差率が86.6%から89.5%に向上した。これは、拡張されたデータセットにおけるクラス不均衡の防止に起因する。
• CiteSeerデータセットでは最大35.1%の誤差低減が達成され、特に小さく挑戦的なデータセットにおいて本フレームワークの強力な影響を示した。