[論文レビュー] Learning on Large-scale Text-attributed Graphs via Variational Inference

Jianan Zhao, Meng Qu+6 more|arXiv (Cornell University)|Oct 26, 2022

Topic Modeling被引用数 25

ひとこと要約

GLEMは、大規模なテキスト属性グラフ上でノード分類のために言語モデル（LM）とグラフニューラルネットワーク（GNN）を交互に訓練する変分EMフレームワークを導入し、スケーラブルで最先端の結果を達成する。

ABSTRACT

This paper studies learning on text-attributed graphs (TAGs), where each node is associated with a text description. An ideal solution for such a problem would be integrating both the text and graph structure information with large language models and graph neural networks (GNNs). However, the problem becomes very challenging when graphs are large due to the high computational complexity brought by training large language models and GNNs together. In this paper, we propose an efficient and effective solution to learning on large text-attributed graphs by fusing graph structure and language learning with a variational Expectation-Maximization (EM) framework, called GLEM. Instead of simultaneously training large language models and GNNs on big graphs, GLEM proposes to alternatively update the two modules in the E-step and M-step. Such a procedure allows training the two modules separately while simultaneously allowing the two modules to interact and mutually enhance each other. Extensive experiments on multiple data sets demonstrate the efficiency and effectiveness of the proposed approach.

研究の動機と目的

• テキスト意味論とグラフ構造を統合することで、テキスト属性グラフ（TAGs）におけるスケーラブルな学習を動機づける。
• 性能を損なうことなくスケーラビリティを向上させるため、LMとGNNを交互に訓練するGLEMを提案する。
• GLEMベースのLMおよびGNNモジュールが大規模TAGベンチマークで強力な結果を達成することを示す。
• 大規模言語モデル（例：DeBERTa-large）および構造を前提としない帰納設定でのスケーラビリティを示す。

提案手法

• 観測ラベルの対数尤度をELBOを介して最大化するため、疑似尤度変分フレームワークを採用する。
• q(yU|sU)にはテキストベースのLMを、p(y n|sV,A,yV\{n})にはGNNを具体化して、局所的なテキストとグローバル構造を捉える。
• テキストからノードラベル分布をモデル化するため、平均場因子分解 q(yU|sU)=∏n∈U q(y n|s n) を用いる。
• EステップではGNNを固定し、GNN予測の疑似ラベルを模倣し、ラベル付きノードを活用してLMを訓練する（wake-sleep目的）。
• MステップではLMを固定し、LM生成の埋め込みと疑似ラベルを用いてGNNを訓練する（LMを入力とする疑似尤度）。
• 未ラベルノードのLM予測疑似ラベルでの注釈は、大規模なTAGでのGNN訓練を実現可能にする。

実験結果

リサーチクエスチョン

• RQ1 variational EMフレームワークは、大規模なテキスト属性グラフ上でLMとGNNのスケーラブルな融合を可能にするか。
• RQ2 LMとGNNの交互更新は、局所的なテキストとグローバルなグラフ構造の両方を活用してノード分類を改善するか。
• RQ3 大規模TAGベンチマークで、固定LM/GNNのベースラインや他の融合戦略と比べてGLEMの性能はどうか。
• RQ4 GLEMは大規模LM（例：DeBERTa-large）に対してスケーラブルかつ構造-freeな帰納設定で有効か。

主な発見

• GLEMは、pure LMsや多くのGNNベースラインを上回り、ogbn-arxiv、ogbn-products、ogbn-papers100MのTAGベンチマークで優れた結果を達成する。
• GLEM-GNNは、LM情報を用いた埋め込みでのメッセージパッシング時に、いくつかのogbベンチマークで新しい最先端性能を達成する。
• EMベースの訓練パラダイムはスケーラビリティを向上させ、パラメータ数が競合的な大規模LM（例：DeBERTa-large）の使用を可能にする。
• 構造を前提としない帰納設定で、GLEM-LMとGLEM-GNNはテキスト属性と疑似ラベルを活用して堅牢な性能を示す。
• 比較された訓練パラダイムは、静的LMおよびジョイント訓練法を上回り、精度と効率の両方でGLEMが優れている。