[論文レビュー] Language is All a Graph Needs

Ruosong Ye, Caiqi Zhang+3 more|arXiv (Cornell University)|Aug 14, 2023

Topic Modeling被引用数 5

ひとこと要約

この論文では、自然言語の指示を用いてマルチスケールのグラフ構造を記述し、大規模言語モデル（LLMs）をグラフタスクに微調整するグラフ学習フレームワーク、InstructGLMを提案する。ogbn-arxiv、Cora、PubMedの各ベンチマークで最先端の性能を達成し、すべてのGNNおよびグラフトランスフォーマーベースラインを上回り、LLMsがグラフ機械学習のための実用的な基礎モデルであることを示している。

ABSTRACT

The emergence of large-scale pre-trained language models has revolutionized various AI research domains. Transformers-based Large Language Models (LLMs) have gradually replaced CNNs and RNNs to unify fields of computer vision and natural language processing. Compared with independent data samples such as images, videos or texts, graphs usually contain rich structural and relational information. Meanwhile, language, especially natural language, being one of the most expressive mediums, excels in describing complex structures. However, existing work on incorporating graph problems into the generative language modeling framework remains very limited. Considering the rising prominence of LLMs, it becomes essential to explore whether LLMs can also replace GNNs as the foundation model for graphs. In this paper, we propose InstructGLM (Instruction-finetuned Graph Language Model) with highly scalable prompts based on natural language instructions. We use natural language to describe multi-scale geometric structure of the graph and then instruction finetune an LLM to perform graph tasks, which enables Generative Graph Learning. Our method surpasses all GNN baselines on ogbn-arxiv, Cora and PubMed datasets, underscoring its effectiveness and sheds light on generative LLMs as new foundation model for graph machine learning. Our code is open-sourced at https://github.com/agiresearch/InstructGLM.

研究の動機と目的

• 大規模言語モデル（LLMs）がグラフ機械学習のための基礎モデルとしてグラフニューラルネットワーク（GNNs）に取って代われるかどうかを検討すること。
• LLMsのグラフ学習における統合が限定的であるのを是正するため、自然言語による記述を用いてグラフ構造を表現すること。
• 指示微調整されたLLMsを用いて、スケーラブルで統合的かつデータ効率的なフレームワークを構築すること。
• 自然言語の指示（グラフのトポロジーとノード特徴量の記述）を学習させることで、生成的グラフ学習を可能にすること。
• 特にラベル付きノードが極めて少ない状況において、LLMsがGNNやグラフトランスフォーマーよりも優れた性能を示すことを実証すること。

提案手法

• ノードの近隣をさまざまな距離で記述する自然言語を用いて、スケーラブルでハイパーパスのグラフ構造プロンプトを構築する。
• マルチタスク・マルチプロンプトフレームワークを用いて、事前学習済みLLM（例：Flan-T5、Llama）を指示微調整し、グラフ分類およびノード分類を実行する。
• グラフ構造を記述的な自然言語文として表現する。例：「ノードAはB、C、Dに接続されている。BはEとFに接続されている。」
• 特に大規模グラフにおいて、LLMの入力トークン制限に収まるように、多ホップの近隣記述をサンプリング戦略で制御する。
• すべてのグラフタスクをテキスト生成問題として扱う統一的な生成パイプラインを適用し、ゼロショットおよびフェイシング一般化を可能にする。
• LLMsのコンテキスト内学習およびフェイシング学習の能力を活用し、最小限のラベル付きデータで性能を向上させる。

実験結果

リサーチクエスチョン

• RQ1 大規模言語モデル（LLMs）は、自然言語によるグラフ構造の記述から効果的に学習し、一般化できるか？
• RQ2 指示微調整済みLLMsは、標準的なグラフベンチマークデータセットにおいて、従来のGNNやグラフトランスフォーマーよりも優れた性能を示せるか？
• RQ3 特に低データ環境下において、ラベル付きデータが限られた状況で、LLMベースのグラフ学習の性能はどのようにスケーリングするか？
• RQ4 自然言語記述を用いた統一的でプロンプトベースのフレームワークは、アーキテクチャの変更なしに多様なグラフ学習タスクを処理できるか？
• RQ5 入力トークン制限のため、LLMsが大規模グラフを処理する際に直面する制限とは何か。それらはどのように緩和できるか？

主な発見

• PubMedでは60ノード（0.3%のラベル比）での学習のみで、InstructGLMはテスト精度89.6%を達成し、最良のGNNベースライン（SAIL）を5.8%上回った。
• PubMedデータセットで60ノードの学習を実施した場合、Flan-T5-largeを用いたInstructGLMは、最良のグラフトランスフォーマ（SGFormer）を9.3%上回った。
• InstructGLMは、ogbn-arxiv、Cora、PubMedで最先端の性能を達成し、すべての単一モデルのGNNおよびグラフトランスフォーマーベースラインを上回った。
• 本手法は高いデータ効率性を示し、PubMedの0.3%という極めて低いラベル比でも高い性能を達成した。
• Flan-T5-large や Llama-7b のような指示微調整済みLLMsは、低データ環境下でGNNよりも優れた一般化能力およびフェイシング学習能力を示した。
• マルチプロンプト・マルチタスクの指示微調整を通じて、フレームワークのスケーラビリティが検証され、多様なグラフタスクにおいて一貫した性能が得られた。