[논문 리뷰] Let Your Graph Do the Talking: Encoding Structured Data for LLMs

Bryan Perozzi, Bahare Fatemi외 5명|arXiv (Cornell University)|2024. 02. 08.

Semantic Web and Ontologies인용 수 6

한 줄 요약

GraphToken은 그래프를 LLM에 대해 명시적으로 인코딩하는 소프트 토큰 프롬프트를 생성하는 그래프 인코더를 학습하고, 그래프 추론 태스크에서 상당한 이득을 얻으며(GraphQA에서 최대 73 퍼센트 포인트까지)

ABSTRACT

How can we best encode structured data into sequential form for use in large language models (LLMs)? In this work, we introduce a parameter-efficient method to explicitly represent structured data for LLMs. Our method, GraphToken, learns an encoding function to extend prompts with explicit structured information. Unlike other work which focuses on limited domains (e.g. knowledge graph representation), our work is the first effort focused on the general encoding of structured data to be used for various reasoning tasks. We show that explicitly representing the graph structure allows significant improvements to graph reasoning tasks. Specifically, we see across the board improvements - up to 73% points - on node, edge and, graph-level tasks from the GraphQA benchmark.

연구 동기 및 목표

• LLM의 pure text 표현을 넘어서 추론 성능을 개선하기 위해 구조화된 데이터를 인코딩하는 것을 모티베이트합니다.
• LLM의 언어 능력을 보존하면서 그래프 구조를 도입하는 매개변수 효율적인 인코더를 제안합니다.
• 명시적 그래프 인코딩이 그래프-, 노드- 및 간선 수준의 태스크에서 GraphQA의 성능을 향상시킨다는 것을 보여줍니다.
• GraphToken이 학습 분포를 넘어 unseen 그래프와 태스크에 일반화되며 LLM에 비해 계산적으로 가벼운 상태를 유지한다는 것을 보여줍니다

제안 방법

• GraphToken을 소개합니다. 이는 LLM 프롬프트 앞에 그래프 유래 토큰을 붙여 주는 학습된 그래프 프롬프트 함수입니다.
• 그래프 인코더(GNN)를 사용하여 고정 길이의 그래프 토큰을 LLM 임베딩 공간과 정렬되도록 생성하고, LLM 파라미터는 고정시킵니다.
• 증강된 프롬프트에 대한 LLM의 perplexity를 역전파하여 그래프 인코더를 학습시키고, 인코더 파라미터만 업데이트합니다.
• 그래프 수준, 노드 수준, 간선 수준 작업에 대해 서로 다른 그래프 인코더(GCN, GIN, MPNN, HGT, MHA, NodeSet, EdgeSet) 및 읽기방식을 탐색합니다.
• 그래프 표현을 마지막 Dense 계층을 통해 LLM 토큰 공간으로 프로젝션한 후 프롬팅합니다(예: PaLM 2/Flan-tuned).
• GraphToken을 GraphQA 벤치마크에서 제로샷, 파샷, CoT, zero-cot, cot-bag, soft-prompt 등의 기반선과 비교하여 경험적으로 평가합니다.

실험 결과

연구 질문

• RQ1 학습된 그래프 인코더가 최소한의 파라미터 업데이트로 구조화된 데이터를 LLM 친화적 프롬프트로 효과적으로 변환할 수 있는가?
• RQ2 얼마나 다양한 그래프 인코더 아키텍처와 노드 특징이 고정된 LLM과 짝을 지었을 때 그래프 추론 태스크를 가장 잘 지원하는가?
• RQ3 명시적 그래프 인코딩이 텍스트 기반 또는 소프트 프롕트 기반 벤치마크에 비해 그래프-, 노드-, 간선 수준의 추론 태스크를 얼마나 향상시키는가?
• RQ4 GraphToken은 학습 분포를 벗어난 보이지 않는 그래프와 태스크에 얼마나 잘 일반화되는가?

주요 결과

방법	노드 수	간선 수	사이클 검사	삼각형 개수 세기	노드 차수	연결된 노드	도달성	간선 존재 여부	최단 경로
zero-shot	0.217	0.124	0.760	0.015	0.140	0.147	0.849	0.445	0.115
zero-cot	0.146	0.094	0.323	0.127	0.104	0.088	0.735	0.335	0.336
few-shot	0.253	0.120	0.374	0.030	0.174	0.124	0.794	0.368	0.227
cot	0.276	0.128	0.580	0.081	0.292	0.131	0.452	0.428	0.386
cot-bag	0.269	0.125	0.521	0.081	0.280	0.158	0.452	0.373	0.404
soft-prompt	0.056	0.018	0.832	0.162	0.098	0.068	0.838	0.544	0.462
GraphToken	0.996	0.426	0.956	0.348	0.962	0.264	0.932	0.738	0.638

• GraphToken은 GraphQATest의 그래프-, 노드-, 간선 수준 태스크에서 벤치마크를 크게 상회하며 최대 73 포인트의 이득을 제공합니다.
• 다른 그래프 인코더가 태스크별 강점이 다르며 모든 태스크를 지배하는 단일 인코더는 없습니다.
• 학습된 노드 특징으로 등가성의 파괴가 일반적으로 성능을 향상시키며, 일부 인코더의 경우 스펙트럴 특징과의 조합이 추가 이득을 제공합니다.
• GraphToken은 LLM 크기에 비해 작은 인코더(수만~수십만 파라미터)를 사용하므로 매개변수 업데이트를 최소화하면서 강력한 이득을 달성합니다.
• 주기 검사 또는 삼각형 개수 세기에 대해 학습된 인코더가 이분성 탐지로 일반화하는 경향이 있어 전이 가능한 그래프 추론 표현을 시사합니다.