[논문 리뷰] Harnessing Explanations: LLM-to-LM Interpreter for Enhanced Text-Attributed Graph Representation Learning

Xiaoxin He, Xavier Bresson외 4명|arXiv (Cornell University)|2023. 05. 31.

Topic Modeling인용 수 16

한 줄 요약

이 논문은 TAPE를 소개합니다. 이는 텍스트 속성 그래프에서 텍스트 속성에 대한 예측과 설명을 생성하기 위해 LLM을 활용하는 LMaaS-호환 프레임워크이며, 이후 미세 조정된 LM 해석기가 이러한 설명을 다운스트림 GNN용으로 풍부해진 노드 특징으로 변환하여 최종적으로 더 빠른 학습 속도와 함께 SOTA 성능을 달성합니다.

ABSTRACT

Representation learning on text-attributed graphs (TAGs) has become a critical research problem in recent years. A typical example of a TAG is a paper citation graph, where the text of each paper serves as node attributes. Initial graph neural network (GNN) pipelines handled these text attributes by transforming them into shallow or hand-crafted features, such as skip-gram or bag-of-words features. Recent efforts have focused on enhancing these pipelines with language models (LMs), which typically demand intricate designs and substantial computational resources. With the advent of powerful large language models (LLMs) such as GPT or Llama2, which demonstrate an ability to reason and to utilize general knowledge, there is a growing need for techniques which combine the textual modelling abilities of LLMs with the structural learning capabilities of GNNs. Hence, in this work, we focus on leveraging LLMs to capture textual information as features, which can be used to boost GNN performance on downstream tasks. A key innovation is our use of explanations as features: we prompt an LLM to perform zero-shot classification, request textual explanations for its decision-making process, and design an LLM-to-LM interpreter to translate these explanations into informative features for downstream GNNs. Our experiments demonstrate that our method achieves state-of-the-art results on well-established TAG datasets, including Cora, PubMed, ogbn-arxiv, as well as our newly introduced dataset, tape-arxiv23. Furthermore, our method significantly speeds up training, achieving a 2.88 times improvement over the closest baseline on ogbn-arxiv. Lastly, we believe the versatility of the proposed method extends beyond TAGs and holds the potential to enhance other tasks involving graph-text data. Our codes and datasets are available at: https://github.com/XiaoxinHe/TAPE.

연구 동기 및 목표

• LLM 추론과 GNN을 결합하여 풍부한 텍스트 정보를 활용함으로써 TAG 표현 학습을 개선하려는 동기를 제시한다.
• LLM 해설을 다운스트림 모델의 특징으로 사용하는 모듈형 LMaaS-호환 파이프라인을 제안한다.
• TAG 벤치마크에서 최첨단 성능을 시연하고 이전 LM-GNN 접근법에 비해 학습 효율 향상을 보인다.
• 재현 가능한 TAG 연구를 지원하기 위한 오픈 소스 데이터셋과 코드를 제공한다.

제안 방법

• 프롬프트 기반의 LMaaS-호환 방식으로 LLM에 질의하여 각 노드의 텍스트(제목과 초록)에 대한 순위가 매겨진 예측과 텍스트 설명을 얻는다.
• 원래 텍스트와 설명으로부터 풍부한 고정 길이의 노드 특징을 생성하는 LLM 설명의 해석기로서 더 작은 LM을 미세 조정한다.
• 상위 k개의 LLM 예측을 추출하고 이를 각 노드의 예측 특징 벡터로 변환한다.
• 원래 특징, 설명 특징, 예측 특징으로 학습된 모델의 예측치를 평균 내어 앙상블 방식으로 보강된 특징에서 GNN을 학습시킨다.

실험 결과

연구 질문

• RQ1 LLM이 생성한 설명이 텍스트 속성 그래프 표현을 개선하는 정보성 특징으로 작용할 수 있는가?
• RQ2 LM-to-LM 해석기가 LLM 설명을 GNN용 판별 가능한 노드 임베딩으로 효과적으로 변환하는가?
• RQ3 제안된 LMaaS-호환 파이프라인이 정확도와 학습 시간에서 기존의 LM 기반 및 GNN 기반 TAG 방법과 어떻게 비교되는가?
• RQ4 표준 TAG 데이터셋 전반에 걸친 다운스트리밍 노드 분류에 대해 순위가 매겨진 예측과 설명을 포함하는 것이 어떤 영향을 미치는가?

주요 결과

• TAPE 프레임워크는 Cora, PubMed, ogbn-arxiv, 및 tape-arxiv23 TAG 데이터셋에서 최첨단 노드 분류 성능을 달성한다.
• 설명을 특징으로 사용하는 것은 얕은 특징 및 기존 LM 기반 특징에 비해 측정 가능한 이점을 제공합니다.
• 이 접근법은 LM과 GNN 훈련을 분리해 학습 시간 단축을 크게 가져오며(예: ogbn-arxiv에서 GLEM 기준선보다 2.88배 빠름).
• orig, expl, 및 pred 특징 기반 GNN의 앙상블 융합은 개별 구성요소보다 일관되게 성능을 향상시킨다.
• 새로운 tape-arxiv23 데이터셋은 LLM 지식 한계(GPT-3.5)를 넘는 일반화 성능을 강하게 보여준다.