[論文レビュー] Pre-Training Graph Neural Networks for Generic Structural Feature Extraction

Ziniu Hu, Changjun Fan+3 more|arXiv (Cornell University)|May 31, 2019

Advanced Graph Neural Networks参考文献 47被引用数 24

ひとこと要約

この論文は、合成グラフ上で3つのタスク—ノイズ除去リンク再構築、中心性スコア順序付け、クラスタ保持—を用いて汎用的な構造的特徴を学ぶ自己教師付き事前学習フレームワークを提案する。多様な合成グラフ上で事前学習を行うことで、ラベル付きデータが少ない状況下でもノード、リンク、グラフレベルの下流タスクで顕著な性能向上が達成される。

ABSTRACT

Graph neural networks (GNNs) are shown to be successful in modeling applications with graph structures. However, training an accurate GNN model requires a large collection of labeled data and expressive features, which might be inaccessible for some applications. To tackle this problem, we propose a pre-training framework that captures generic graph structural information that is transferable across tasks. Our framework can leverage the following three tasks: 1) denoising link reconstruction, 2) centrality score ranking, and 3) cluster preserving. The pre-training procedure can be conducted purely on the synthetic graphs, and the pre-trained GNN is then adapted for downstream applications. With the proposed pre-training procedure, the generic structural information is learned and preserved, thus the pre-trained GNN requires less amount of labeled data and fewer domain-specific features to achieve high performance on different downstream tasks. Comprehensive experiments demonstrate that our proposed framework can significantly enhance the performance of various tasks at the level of node, link, and graph.

研究の動機と目的

• 多様な応用分野における正確なGNNの学習に必要なラベル付きグラフデータが限られているという課題に対処する。
• 高価でドメイン特化された特徴に依存するのを避け、移譲可能な構造的表現を学ぶ。
• 実際のラベル付きグラフを必要とせずに、さまざまなグラフタイプに一般化可能な事前学習フレームワークを開発する。
• 事前学習で得た構造的知識を活用することで、ラベル付きデータが少ない状況下でも下流タスクに対して効果的なファインチューニングを可能にする。

提案手法

• 統計的性質を調整可能な次数補正付きストークスティックブロックモデルにより生成された合成グラフ上でGNNを事前学習する。
• ノイズ除去リンク再構築、中心性スコア順序付け、クラスタ保持の3つの自己教師付きタスクを用い、多層次元の構造的情報を捉える。
• これらのタスクを用いて合成データ上でGNNをエンドツーエンドで学習させ、汎用的な構造的インダクティブバイアスを学習する。
• 下流タスクにおいて、下層を固定するか、特定の層をファインチューニングする方法を用い、ノード属性が利用可能な場合は特徴の連結を実施する。
• ファインチューニング段階で、学習済みの構造的埋め込みとタスク固有の特徴を組み合わせることで、事前学習モデルを適応させる。
• 低データレジーム下でノード分類、リンク予測、グラフ分類タスクのパフォーマンスを評価する。

実験結果

リサーチクエスチョン

• RQ1 GNNは合成グラフ上で事前学習することで、汎用的なグラフ構造的情報を学習できるか？
• RQ2 限られたラベル付きデータの下で、事前学習が下流のグラフ学習タスクのパフォーマンスをどの程度向上できるか？
• RQ3 異なる種類の下流タスクに対して、どの事前学習タスクが最も有益か？
• RQ4 適応戦略（例：ファインチューニングの境界）が下流パフォーマンスに与える影響はいかほどか？
• RQ5 ラベル付きデータが限られる状況で、事前学習がパフォーマンスに与える影響は？

主な発見

• 事前学習フレームワークにより、6つのノード分類タスクの平均で微小F1スコアが7.7%向上した。
• 強力なノード属性が存在する状況でも、属性のみまたはランダム初期化を使用するベースラインを上回る性能を示した。
• クラスタ保持タスクはノード分類において最も大きな利益をもたらしたが、ノイズ除去リンク再構築はリンク予測において最も寄与した。
• グラフ分類タスクは中心性スコア順序付けとノイズ除去リンク再構築の両方のタスクから最も利益を受け、局所的構造パターンを捉える役割を果たしていることが示された。
• 訓練データが限られる状況で、事前学習が最も顕著なパフォーマンス向上をもたらした。特に10%の訓練データで改善が顕著に見られた。
• エンベッディング層と最初のGNN層をファインチューニング時に固定することで最良のパフォーマンスが得られ、初期化と特徴抽出の両方の価値が裏付けられた。