[論文レビュー] SimTeG: A Frustratingly Simple Approach Improves Textual Graph Learning

Keyu Duan, Qian Liu+5 more|arXiv (Cornell University)|Aug 3, 2023

Advanced Graph Neural Networks被引用数 6

ひとこと要約

SimTeGは、下流のタスクで事前学習済み言語モデルをパラメータ効率の良い微調整（PEFT）によって微調整した後、最終隠れ層の出力を任意のGNNのノード特徴量として使用することで、テキストグラフ学習のための単純ながら効果的な手法を提案する。このアプローチは、最小限の変更で最先端の性能を達成し、OGBN-Arxivで78.04%の正確度を記録した。

ABSTRACT

Textual graphs (TGs) are graphs whose nodes correspond to text (sentences or documents), which are widely prevalent. The representation learning of TGs involves two stages: (i) unsupervised feature extraction and (ii) supervised graph representation learning. In recent years, extensive efforts have been devoted to the latter stage, where Graph Neural Networks (GNNs) have dominated. However, the former stage for most existing graph benchmarks still relies on traditional feature engineering techniques. More recently, with the rapid development of language models (LMs), researchers have focused on leveraging LMs to facilitate the learning of TGs, either by jointly training them in a computationally intensive framework (merging the two stages), or designing complex self-supervised training tasks for feature extraction (enhancing the first stage). In this work, we present SimTeG, a frustratingly Simple approach for Textual Graph learning that does not innovate in frameworks, models, and tasks. Instead, we first perform supervised parameter-efficient fine-tuning (PEFT) on a pre-trained LM on the downstream task, such as node classification. We then generate node embeddings using the last hidden states of finetuned LM. These derived features can be further utilized by any GNN for training on the same task. We evaluate our approach on two fundamental graph representation learning tasks: node classification and link prediction. Through extensive experiments, we show that our approach significantly improves the performance of various GNNs on multiple graph benchmarks.

研究の動機と目的

• 事前学習済み言語モデルの単純で効果的な使用が、テキストグラフ表現学習を顕著に改善できるかどうかを調査すること。
• グラフ学習の特徴抽出段階で現代の言語モデルがまだ十分に活用されていない現状（依然としてBoWのような伝統的手法に依存している）を是正すること。
• 言語モデル特徴量がノード分類に加え、構造的情報を重視するタスクであるリンク予測においても性能向上をもたらすかどうかを評価すること。
• 言語モデルバックボーンおよび微調整戦略の選択が、下流のGNN性能に与える影響を特定すること。
• 単純でモジュール型のアプローチが、テキストグラフ学習において複雑なエンドツーエンドフレームワークを上回ることを実証すること。

提案手法

• タスク固有のラベルを用いて、下流タスク（例：ノード分類）で事前学習済み言語モデルをパラメータ効率の良い微調整（PEFT）で微調整する。
• 微調整済み言語モデルの最終隠れ層からノード表現を抽出し、分類ヘッドは破棄する。
• 得られたテキスト埋め込みを、下流のグラフ学習タスクにおける任意のグラフニューラルネットワーク（GNN）の入力特徴量として使用する。
• 言語モデルが生成した特徴量を用いて、同じタスクでGNNを訓練する。特徴抽出とグラフ学習の2段階的パラダイムを維持する。
• OGBN-Arxiv、OGBN-Products、OGBN-Citation2を含む複数のベンチマークでノード分類およびリンク予測の性能を評価する。
• 完全微調整および伝統的な特徴工学とを比較し、過学習およびモデル感受性を分析する。

実験結果

リサーチクエスチョン

• RQ1 言語モデル特徴量はテキストグラフにおけるGNN性能をどの程度向上させられるか。また、その向上は異なるGNNアーキテクチャ間で一貫しているか。
• RQ2 リtrieval最適化された言語モデルとマスク言語モデル（MLM）のどちらが、テキストグラフ学習のためのノード表現をより良く得られるか。
• RQ3 言語モデル特徴量を組み込むことで、構造的パターンに依存する度合いが高いリンク予測タスクの性能が向上するか。
• RQ4 GNN学習は、言語モデルバックボーンおよび微調整手法の選択に対してどの程度感受性を示すか。
• RQ5 単純でモジュール型のアプローチが、テキストグラフ表現学習において複雑なエンドツーエンドフレームワークを上回ることができるか。

主な発見

• SimTeG特徴量を用いた2層のGraphSAGEは、OGBN-Arxivで77.48%の正確度を達成し、より複雑なモデルの最先端性能と同等となった。
• 最先端のGNNと組み合わせたSimTeGは、OGBN-Arxivで78.04%の新しい最先端正確度を達成した。
• パラメータ効率の良い微調整は、完全微調整と比較して過学習が著しく軽減される。OGBN-Arxivのノード分類タスクにおいて、過学習度の差（テスト正確度 - 訓練正確度）は2.52 vs. 9.11であった。
• e5-large や all-roberta-large-v1 のようなリtrieval最適化言語モデルは、roberta-large のような標準的なMLMモデルよりも、SimTeGにおけるバックボーンとして優れた性能を示した。
• 言語モデルの性能順位（e5-large > all-roberta-large-v1 > all-MiniLM-L6-v2）は、MTEBランクイングスコアと一致しており、より優れたリtrievalモデルがより優れたグラフ表現をもたらすことを示唆している。
• この手法は頑健でモジュール型である。任意のGNNおよび言語モデルと相性が良く、下流の言語モデルの質に応じて性能が向上する。