[논문 리뷰] SimTeG: A Frustratingly Simple Approach Improves Textual Graph Learning

Keyu Duan, Qian Liu외 5명|arXiv (Cornell University)|2023. 08. 03.

Advanced Graph Neural Networks인용 수 6

한 줄 요약

SimTeG는 사전 훈련된 언어 모델을 하류 작업에서 매개변수 효율적 훈련(PEFT)을 통해 미세조정한 후, 최종 은닉 상태를 임의의 GNN에 대한 노드 특징으로 사용함으로써 텍스트 그래프 학습을 위한 단순하면서도 효과적인 방법을 제안한다. 이 방법은 OGBN-Arxiv에서 78.04%의 정확도를 기록하며 복잡한 아키텍처를 능가하는 최신 기술 수준의 성능을 달성하며, 최소한의 수정으로도 뛰어난 성능을 발휘한다.

ABSTRACT

Textual graphs (TGs) are graphs whose nodes correspond to text (sentences or documents), which are widely prevalent. The representation learning of TGs involves two stages: (i) unsupervised feature extraction and (ii) supervised graph representation learning. In recent years, extensive efforts have been devoted to the latter stage, where Graph Neural Networks (GNNs) have dominated. However, the former stage for most existing graph benchmarks still relies on traditional feature engineering techniques. More recently, with the rapid development of language models (LMs), researchers have focused on leveraging LMs to facilitate the learning of TGs, either by jointly training them in a computationally intensive framework (merging the two stages), or designing complex self-supervised training tasks for feature extraction (enhancing the first stage). In this work, we present SimTeG, a frustratingly Simple approach for Textual Graph learning that does not innovate in frameworks, models, and tasks. Instead, we first perform supervised parameter-efficient fine-tuning (PEFT) on a pre-trained LM on the downstream task, such as node classification. We then generate node embeddings using the last hidden states of finetuned LM. These derived features can be further utilized by any GNN for training on the same task. We evaluate our approach on two fundamental graph representation learning tasks: node classification and link prediction. Through extensive experiments, we show that our approach significantly improves the performance of various GNNs on multiple graph benchmarks.

연구 동기 및 목표

• 사전 훈련된 언어 모델을 단순하고 효과적으로 사용할 경우 텍스트 그래프 표현 학습에 상당한 향상이 이루어지는지 조사하기 위해.
• 그래프 학습의 특징 추출 단계에서 현대적 언어 모델이 여전히 보편적으로 사용되지 않는 문제를 해결하기 위해, 기존의 BoW와 같은 전통적 방법에 의존하지 않고 현대 언어 모델을 활용하는 것의 중요성을 다루기 위해.
• 언어 모델 특징이 노드 분류 외에도, 구조적 정보에 더 의존하는 링크 예측과 같은 작업에서도 성능 향상에 기여하는지 평가하기 위해.
• 언어 모델 백본과 미세조정 전략의 선택이 하류 GNN 성능에 영향을 미치는지 확인하기 위해.
• 간단하고 모듈러한 접근 방식이 텍스트 그래프 학습에서 복잡한 종단 간 프레임워크를 능가할 수 있음을 입증하기 위해.

제안 방법

• 하류 작업(예: 노드 분류)에서 태스크에 맞는 레이블을 사용해 사전 훈련된 언어 모델을 매개변수 효율적 훈련(PEFT)을 통해 미세조정한다.
• 미세조정된 언어 모델의 마지막 은닉 레이어에서 노드 표현을 추출하고, 분류 헤드는 기각한다.
• 이러한 유도된 텍스트 임베딩을 하류 그래프 학습 작업에서 임의의 그래프 신경망(GNN)의 입력 특징으로 사용한다.
• 언어 모델이 생성한 특징을 사용하여 동일한 작업에서 GNN을 훈련시키며, 특징 추출과 그래프 학습의 두 단계로 구성된 파라디그마를 유지한다.
• OGBN-Arxiv, OGBN-Products, OGBN-Citation2를 포함한 여러 벤치마크에서 노드 분류 및 링크 예측 성능을 평가한다.
• 전체 미세조정 및 전통적 특징 공학과의 결과를 비교하고, 과적합성과 모델 민감도를 분석한다.

실험 결과

연구 질문

• RQ1 언어 모델 특징이 텍스트 그래프에서 GNN 성능을 얼마나 향상시키며, 다양한 GNN 아키텍처 간 일관된 향상이 이루어지는가?
• RQ2 검색 최적화된 언어 모델과 마스크된 언어 모델링(MLM) 중 어떤 유형의 사전 훈련된 언어 모델이 텍스트 그래프 학습에서 더 나은 노드 표현을 제공하는가?
• RQ3 링크 예측과 같은, 텍스트보다는 구조적 패턴에 더 중점을 두는 작업에서 언어 모델 특징이 성능 향상에 기여하는가?
• RQ4 GNN 훈련이 언어 모델 백본과 미세조정 방법의 선택에 얼마나 민감한가?
• RQ5 간단하고 모듈러한 접근 방식이 텍스트 그래프 표현 학습에서 복잡한 종단 간 프레임워크를 능가할 수 있는가?

주요 결과

• SimTeG 특징을 기반으로 한 단순한 이중층 GraphSAGE는 OGBN-Arxiv에서 77.48%의 정확도를 기록하며, 더 복잡한 모델이 달성한 최신 기술 수준의 성능을 재현한다.
• 최신 기술 수준의 GNN과 결합할 경우 SimTeG는 OGBN-Arxiv에서 새로운 최신 기술 수준의 정확도 78.04%를 달성한다.
• 매개변수 효율적 훈련은 전체 미세조정 대비 과적합을 크게 줄여주며, OGBN-Arxiv 노드 분류 작업에서 과적합도 차이(Test Acc. - Train Acc.)가 2.52 대 9.11로 확인되어 뚜렷한 개선 효과를 보였다.
• e5-large 및 all-roberta-large-v1과 같은 검색 최적화된 언어 모델은 roberta-large와 같은 표준 MLM 모델보다 SimTeG 백본으로 사용했을 때 더 뛰어난 성능을 보였다.
• 언어 모델의 성능 순위(e5-large > all-roberta-large-v1 > all-MiniLM-L6-v2)는 MTEB 랭킹 순위와 일치하며, 더 나은 검색 모델일수록 더 나은 그래프 표현을 생성함을 시사한다.
• 이 방법은 강건하고 모듈러하다: 어떤 GNN이나 언어 모델과도 호환되며, 기반 언어 모델의 품질에 비례해 성능이 향상된다.