[論文レビュー] Node Feature Extraction by Self-Supervised Multi-scale Neighborhood Prediction

Eli Chien, Wei-Cheng Chang+5 more|arXiv (Cornell University)|Oct 29, 2021

Advanced Graph Neural Networks被引用数 14

ひとこと要約

本稿では、eXtreme Multi-label Classification (XMC)形式とXR-Transformersを用いて、グラフ構造を活用した多スケール近隣予測により、ノード特徴抽出を向上させる自己教師付きフレームワークGIANTを提案する。ogbn-papers100Mにおいて、GNNの下流性能を最大1.42%向上させ、MLPでは13.86%、GraphSAGEでは3.1%の向上を達成し、多様なグラフベンチマークにおいてスケーラビリティとロバスト性を示している。

ABSTRACT

Learning on graphs has attracted significant attention in the learning community due to numerous real-world applications. In particular, graph neural networks (GNNs), which take numerical node features and graph structure as inputs, have been shown to achieve state-of-the-art performance on various graph-related learning tasks. Recent works exploring the correlation between numerical node features and graph structure via self-supervised learning have paved the way for further performance improvements of GNNs. However, methods used for extracting numerical node features from raw data are still graph-agnostic within standard GNN pipelines. This practice is sub-optimal as it prevents one from fully utilizing potential correlations between graph topology and node attributes. To mitigate this issue, we propose a new self-supervised learning framework, Graph Information Aided Node feature exTraction (GIANT). GIANT makes use of the eXtreme Multi-label Classification (XMC) formalism, which is crucial for fine-tuning the language model based on graph information, and scales to large datasets. We also provide a theoretical analysis that justifies the use of XMC over link prediction and motivates integrating XR-Transformers, a powerful method for solving XMC problems, into the GIANT framework. We demonstrate the superior performance of GIANT over the standard GNN pipeline on Open Graph Benchmark datasets: For example, we improve the accuracy of the top-ranked method GAMLP from $68.25\\%$ to $69.67\\%$, SGC from $63.29\\%$ to $66.10\\%$ and MLP from $47.24\\%$ to $61.10\\%$ on the ogbn-papers100M dataset by leveraging GIANT.

研究の動機と目的

• 標準的なGNNパイプラインにおけるグラフに依存しないノード特徴抽出による性能の劣化を是正すること。
• Bertのような事前学習済み言語モデルにグラフ構造情報を統合し、ノード表現学習を向上させること。
• 近隣予測を事前学習タスクとして活用するスケーラブルな自己教師付きフレームワークを構築すること。
• XMCをリンク予測よりもグラフ誘導型表現学習に適している理論的根拠を提示すること。
• ogbn-papers100Mのような大規模グラフベンチマークにおいて、GIANTの有効性とスケーラビリティを実証すること。

提案手法

• ノードの近隣を二値マルチラベルベクトルとして符号化する、新しい自己教師付きタスク「多スケール近隣予測」を提案する。
• 近隣予測タスクをeXtreme Multi-label Classification (XMC)問題にマッピングし、XR-Transformersのような最先端のXMCソルバーを活用可能にする。
• rawノード特徴（例：TF-IDF）とグラフ構造の両方から導出されるPIFA（Pairwise Interaction Feature Aggregation）埋め込みを用い、階層的クラスタリングによる近隣構築を支援する。
• XMC目的関数を用いて事前学習済みBERTモデルを微調整し、グラフに適応したノード特徴を生成し、それを下流GNNの入力として使用する。
• 異なる距離の近隣を捉える多スケールクラスタリング戦略を採用し、異種グラフにおける表現品質の向上を図る。
• XMCに内在する大規模マルチラベル予測タスクを効率的に処理するため、XR-Transformerモデルを統合し、数十億ノードのスケーラビリティを確保する。

実験結果

リサーチクエスチョン

• RQ1 グラフ構造に依存する自己教師付きアプローチは、BERT や TF-IDF といったグラフに依存しない手法を上回るノード特徴抽出を可能にするか？
• RQ2 グラフ誘導型自己教師付きノード表現学習において、リンク予測よりもXMCがより効果的であるか？
• RQ3 ノード属性とグラフ構造の両方を特徴学習に統合することで、下流GNNの性能にどのような影響を与えるか？
• RQ4 提案されたGIANTフレームワークは、ogbn-papers100Mのような大規模グラフにスケーラブルに適用可能であり、性能向上を維持できるか？
• RQ5 階層的クラスタリングとPIFA埋め込みは、近隣予測の品質と下流精度にどのような寄与をしているか？

主な発見

• ogbn-papers100Mデータセットにおいて、GIANT-XRTはトップランク手法GAMLP-RLUの精度を68.25%から69.67%に向上させ、相対的に1.42%の向上を達成した。
• ogbn-papers100Mにおいて、GIANT-XRTはMLPの性能を47.24%から61.10%に向上させ、相対的に13.86%の向上を達成し、一部のケースでより複雑なGNNを上回った。
• ogbn-papers100Mにおいて、SGCの精度は63.29%から66.10%に、GraphSAGEの精度は65.73%から68.83%に向上し、モデル間で一貫した向上が確認された。
• アブレーションスタディにより、TF-IDF特徴とPIFAで構築されたグラフ近隣の両方を組み合わせた場合が最良の性能を示し、NO TFIDF+NO PIFAが最も悪い結果を示した。
• リンク予測を用いて微調整したBERT（BERT+LP）は、ogbn-productsにおいてGIANTを下回る性能を示し、近隣予測が自己教師付き学習においてリンク予測よりもロバストであることが確認された。
• GIANT-XRTは非常にスケーラブルであり、ogbn-arxiv や ogbn-products を含む複数のOGBベンチマークで一貫した性能向上を達成し、ogbn-productsではMLPで最大18.76%の向上を記録した。