[論文レビュー] Leveraging Large Language Models for Node Generation in Few-Shot Learning on Text-Attributed Graphs

Jianxiang Yu, Yuxiang Ren+4 more|arXiv (Cornell University)|Oct 15, 2023

Topic ModelingComputer Science被引用数 3

ひとこと要約

本稿では、少量のラベル付きデータにおけるテキスト属性付きグラフのノード分類の性能を向上させるために、大規模言語モデル（LLMs）を活用して合成されたノード特徴量とエッジを生成する、軽量で即座に統合可能なパラダイムであるENGを提案する。LLMにクラスラベルに依存する意味的に豊かな例示例を生成させ、エッジ予測モデルを用いてそれらをグラフに統合することで、1ショットの ogbn-arxiv の設定においてベースラインモデル比で76%の精度向上を達成した。

ABSTRACT

Text-attributed graphs have recently garnered significant attention due to their wide range of applications in web domains. Existing methodologies employ word embedding models for acquiring text representations as node features, which are subsequently fed into Graph Neural Networks (GNNs) for training. Recently, the advent of Large Language Models (LLMs) has introduced their powerful capabilities in information retrieval and text generation, which can greatly enhance the text attributes of graph data. Furthermore, the acquisition and labeling of extensive datasets are both costly and time-consuming endeavors. Consequently, few-shot learning has emerged as a crucial problem in the context of graph learning tasks. In order to tackle this challenge, we propose a lightweight paradigm called LLM4NG, which adopts a plug-and-play approach to empower text-attributed graphs through node generation using LLMs. Specifically, we utilize LLMs to extract semantic information from the labels and generate samples that belong to these categories as exemplars. Subsequently, we employ an edge predictor to capture the structural information inherent in the raw dataset and integrate the newly generated samples into the original graph. This approach harnesses LLMs for enhancing class-level information and seamlessly introduces labeled nodes and edges without modifying the raw dataset, thereby facilitating the node classification task in few-shot scenarios. Extensive experiments demonstrate the outstanding performance of our proposed paradigm, particularly in low-shot scenarios. For instance, in the 1-shot setting of the ogbn-arxiv dataset, LLM4NG achieves a 76% improvement over the baseline model.

研究の動機と目的

• テキスト属性付きグラフにおける少量学習設定下でのノード分類性能の低さという課題に対処すること。
• LLMを用いて高品質で意味的に関連性のあるトレーニングサンプルを生成することで、大規模なラベル付きデータへの依存度を低減すること。
• 元のデータセットを変更せずに、グラフ構造を保持しつつ、クラスレベルの監視を強化するためのLLM生成ノードを提供すること。
• 最適なモデル一般化を実現するための、サンプルの多様性と元データとの整合性の両立を図るプロンプト工学戦略を検討すること。

提案手法

• クラスラベルをプロンプトとして提示することで、LLMを用いてノード特徴量埋め込みを生成し、意味情報を抽出して例示サンプルを生成する。
• 生成されたノードと元のグラフ内の既存ノードの間の構造的関係を推定するための微分可能エッジ予測モデルを訓練する。
• 生成されたノードとエッジを元のグラフに統合し、下流のGNN学習用に拡張されたグラフを構築する。
• GNNの再訓練や元のグラフ構造の変更を必要としない、プラグアンドプレイ設計を採用する。
• 生成品質に与えるラベル情報とサンプル多様性の影響を調査するため、複数のプロンプトテンプレート（例：ENG-P1～ENG-P6）を設計する。
• LLMを用いた確率的サンプリングを実施し、複数回の実行における生成サンプルのロバスト性と一般化性能を評価する。

実験結果

リサーチクエスチョン

• RQ1 低リソースな少量学習のグラフ学習シナリオにおいて、LLMを効果的に活用して高品質でクラスに依存するノード特徴量を生成する方法は何か？
• RQ2 元のグラフデータと整合性を保ちつつ、生成サンプルの関連性と多様性を最大化するためのプロンプト工学戦略は何か？
• RQ3 生成サンプルの数がモデル性能に与える影響は何か？性能向上の最適なバランス点は存在するか？
• RQ4 LLMの確率的性質が、グラフ学習タスクにおける生成サンプルの信頼性と一貫性に与える影響はどの程度か？

主な発見

• ogbn-arxivデータセットにおける1ショット設定では、ENGはベースラインGNNモデル比で76%の精度向上を達成した。
• 生成サンプル数が増加するにつれて一時的に性能が向上するが、冗長または低品質なサンプルによる限界効果のため、やがて飽和する。
• LLMによって生成されたサンプルは優れた一般化性能を示しており、生成内容のばらつきにもかかわらず、複数回の確率的実行において一貫した性能を発揮した。
• プロンプト設計が性能に顕著な影響を与える：ラベルの差異を強調するプロンプト（例：ENG-P4）は、汎用的または過度に多様なプロンプト（例：ENG-P5, ENG-P6）よりも優れた結果をもたらした。
• エッジ予測モデルによるLLM生成ノードとエッジの統合により、元のグラフを変更せずにモデルの監視強化が可能となり、ノード分類性能が向上した。
• 極めて少量のラベルデータ環境下でも本手法は有効であり、LLMがグラフ学習におけるスケーラブルな合成監視のソースとして機能できることを示した。