[論文レビュー] Harnessing Explanations: LLM-to-LM Interpreter for Enhanced Text-Attributed Graph Representation Learning

Xiaoxin He, Xavier Bresson+4 more|arXiv (Cornell University)|May 31, 2023

Topic Modeling被引用数 16

ひとこと要約

論文は TAPE を導入します、LMaaS対応のフレームワークで、テキスト属性グラフ上のテキスト属性に対して予測と説明を生成するのに LLMを使用し、その後、微調整された LM インタプリタがこれらの説明を下流の GNN のための強化ノード特徴へと変換し、トレーニングを高速化しつつSOTAの結果を達成します。

ABSTRACT

Representation learning on text-attributed graphs (TAGs) has become a critical research problem in recent years. A typical example of a TAG is a paper citation graph, where the text of each paper serves as node attributes. Initial graph neural network (GNN) pipelines handled these text attributes by transforming them into shallow or hand-crafted features, such as skip-gram or bag-of-words features. Recent efforts have focused on enhancing these pipelines with language models (LMs), which typically demand intricate designs and substantial computational resources. With the advent of powerful large language models (LLMs) such as GPT or Llama2, which demonstrate an ability to reason and to utilize general knowledge, there is a growing need for techniques which combine the textual modelling abilities of LLMs with the structural learning capabilities of GNNs. Hence, in this work, we focus on leveraging LLMs to capture textual information as features, which can be used to boost GNN performance on downstream tasks. A key innovation is our use of explanations as features: we prompt an LLM to perform zero-shot classification, request textual explanations for its decision-making process, and design an LLM-to-LM interpreter to translate these explanations into informative features for downstream GNNs. Our experiments demonstrate that our method achieves state-of-the-art results on well-established TAG datasets, including Cora, PubMed, ogbn-arxiv, as well as our newly introduced dataset, tape-arxiv23. Furthermore, our method significantly speeds up training, achieving a 2.88 times improvement over the closest baseline on ogbn-arxiv. Lastly, we believe the versatility of the proposed method extends beyond TAGs and holds the potential to enhance other tasks involving graph-text data. Our codes and datasets are available at: https://github.com/XiaoxinHe/TAPE.

研究の動機と目的

• LLM の推論と GNN を組み合わせて豊富なテキスト情報を活用し、 TAG 表現学習の改善を動機づける。
• 下流モデルの特徴として LLM の説明を用いる、モジュラな LMaaS 対応パイプラインを提案する。
• TAG ベンチマークで最先端性能を示し、従来の LM-GNN アプローチと比べてトレーニング効率の向上を示す。
• 再現性のある TAG 研究を支援するオープンソースのデータセットとコードを提供する。

提案手法

• 各ノードのテキスト（タイトルと要約）に対して、ランキング付き予測とテキスト的説明を得るために、プロンプトベースで LMaaS 対応の方法で LLMを照会する。
• 元のテキストと説明から強化された固定長ノード特徴を生成する、LLM の説明の解釈器として小型 LM をファインチューニングする。
• 上位 k 個の LLM 予測を抽出し、それらを各ノードの予測特徴ベクトルに変換する。
• 元の特徴、説明特徴、予測特徴で訓練されたモデルの予測を平均化してアンサンブル的に augmented features の上で GNN を訓練する。

実験結果

リサーチクエスチョン

• RQ1 LLM によって生成された説明は、テキスト属性グラフ表現を改善する有益な特徴として機能するだろうか？
• RQ2 LM-to-LM インタープリタは、LLM の説明を GNN の区別力のあるノード埋め込みへ効果的に翻訳するか？
• RQ3 提案された LMaaS 対応パイプラインは、既存の LM ベースおよび GNN ベースの TAG 手法と精度およびトレーニング時間の点でどう比較されるか？
• RQ4 標準的な TAG データセット全体で、ランキング付き予測と説明を含めることが下流のノード分類に与える影響は何か？

主な発見

• TAPE フレームワークは Cora、PubMed、ogbn-arxiv、tape-arxiv23 TAG データセットで最先端のノード分類性能を達成します。
• 説明を特徴として用いることで、浅い特徴および従来の LM ベースの特徴に対して測定可能な向上を提供します。
• LM と GNN の訓練を分離することにより、訓練時間の大幅なスピードアップ（例: ogbn-arxiv で GLEM ベースラインより 2.88 倍高速）を実現します。
• orig、expl、pred 特徴ベースの GNN のアンサンブル融合は、個々のコンポーネントより一貫して性能を向上させます。
• 新しい tape-arxiv23 データセットは、LLM の知識のカットオフ（GPT-3.5）を超えた一般化を強い結果とともに示します。