[논문 리뷰] GraphText: Graph Reasoning in Text Space

Jianan Zhao, Le Zhuo외 6명|arXiv (Cornell University)|2023. 10. 02.

Topic Modeling인용 수 4

한 줄 요약

GRAPHTEXT는 그래프-구조 데이터와 대규모 언어 모델(LLM) 간의 격차를 해소하기 위해 그래프를 자연어 프롬프트로 변환하는 그래프-구문 트리 순회를 통해 텍스트 공간에서 그래프 추론을 가능하게 하는 새로운 프레임워크이다. 이 프레임워크는 그래프 데이터에 대한 미세조정 없이도 최신 기술 수준의 성능을 달성하며, 컨텍스트 내 학습을 통해 초등 GNN과 비슷하거나 이를 초월하는 성능을 보이며, 자연어를 통한 상호작용 가능하고 설명 가능한 AI-사용자 협업을 가능하게 한다.

ABSTRACT

Large Language Models (LLMs) have gained the ability to assimilate human knowledge and facilitate natural language interactions with both humans and other LLMs. However, despite their impressive achievements, LLMs have not made significant advancements in the realm of graph machine learning. This limitation arises because graphs encapsulate distinct relational data, making it challenging to transform them into natural language that LLMs understand. In this paper, we bridge this gap with a novel framework, GraphText, that translates graphs into natural language. GraphText derives a graph-syntax tree for each graph that encapsulates both the node attributes and inter-node relationships. Traversal of the tree yields a graph text sequence, which is then processed by an LLM to treat graph tasks as text generation tasks. Notably, GraphText offers multiple advantages. It introduces training-free graph reasoning: even without training on graph data, GraphText with ChatGPT can achieve on par with, or even surpassing, the performance of supervised-trained graph neural networks through in-context learning (ICL). Furthermore, GraphText paves the way for interactive graph reasoning, allowing both humans and LLMs to communicate with the model seamlessly using natural language. These capabilities underscore the vast, yet-to-be-explored potential of LLMs in the domain of graph machine learning.

연구 동기 및 목표

• 기존에 그래프 추론을 직접 지원하지 않는 대규모 언어 모델(LLM)과 그래프 구조 데이터 간의 격차를 해소하기 위해.
• 그래프 데이터에 대한 미세조정 없이 컨텍스트 내 학습을 활용하여 훈련이 필요 없는 그래프 추론을 가능하게 하기 위해.
• 사용자와 LLM 간의 자연어를 통한 상호작용과 설명 가능한 그래프 추론을 가능하게 하기 위해.
• 연속형 특성과 텍스트 특성이 부여된 다양한 그래프 유형에 대해 통합된 프레임워크를 통해 일반화할 수 있도록 하기 위해.

제안 방법

• 노드 속성(특성, 레이블)과 노드 간 관계(예: 중심노드, 1단계 이웃, 2단계 이웃)를 계층적 구조로 코딩한 그래프-구문 트리를 구축하기 위해.
• 그래프-구문 트리를 깊이 우선 순회 방식으로 순회하여 자연어로 표현된 그래프를 나타내는 순차적 텍스트 프롬프트를 생성하기 위해.
• 생성된 그래프 프롬프트를 사전 훈련된 LLM에 입력하여 텍스트 생성 작업으로서 그래프 추론을 수행하기 위해.
• LLM이 그래프 작업에 적합하도록 컨텍스트 내 학습(ICL)과 지시어 튜닝(예: Llama-2에 대한 LoRA 미세조정)을 모두 지원하기 위해.
• 연속형 노드 특성을 LLM의 임bedding 공간으로 매핑하고, 원본 텍스트 속성을 이산 토큰으로 간주함으로써 다중 모odal 입력 처리를 가능하게 하기 위해.
• LLM의 추론 능력을 활용하여 단계별 설명과 예측을 생성함으로써 해석 가능성 향상시키기 위해.

실험 결과

연구 질문

• RQ1 그래프 데이터에 대한 미세조정 없이도 자연어 공간에서 효과적인 그래프 추론이 가능할 수 있는가?
• RQ2 GRAPHTEXT를 사용한 LLM의 성능은 그래프 분류 작업에서 감독 학습 기반 GNN과 비교해 어떻게 되는가?
• RQ3 GRAPHTEXT는 자연어를 통해 인간과 LLM 간의 상호작용 가능한 추론을 지원할 수 있는가?
• RQ4 이 프레임워크는 텍스트 기반 속성과 연속형 특성 그래프를 포함한 다양한 그래프 유형에 대해 어떻게 일반화되는가?
• RQ5 입력 모odal리티(원본 텍스트 대비 연속형 특성)가 GRAPHTEXT 프레임워크 내 LLM 성능에 미치는 영향은 무엇인가?

주요 결과

• ChatGPT를 사용한 GRAPHTEXT는 컨텍스트 내 학습을 통해 Cora에서 67.77%, Citeseer에서 68.98%의 노드 분류 정확도를 달성했으며, 일부 설정에서는 GNN 기준선을 초월했다.
• LoRA를 사용한 Llama-2-7B에 대한 지시어 튜닝은 Cora에서 77.53%, Citeseer에서 73.83%의 정확도를 기록했으며, 더 작은 오픈소스 모델임에도 불구하고 GNN 성능에 근접했다.
• 비공개 LLM인 ChatGPT는 연속형 특성 처리에 본질적인 한계가 있어 Cora에서 10.68%, Citeseer에서 16.14%의 정확도에 그쳤다.
• 오픈소스 LLM인 Llama-2-7B는 연속형 특성에 대해 미세조정을 거친 후 성능이 향상되었으며(예: Cora에서 87.11%), 이는 적절히 통합될 경우 그래프 데이터에 대한 적응 가능성을 보여준다.
• 이 프레임워크는 설명 가능한 추론을 가능하게 하며, LLM이 단계별 근거를 생성하여 1단계 이웃 레이블이 강력한 예측 변수임을 식별함으로써 해석 가능성 향상을 이룬다.
• GRAPHTEXT는 훈련이 필요 없는 그래프 추론이 가능하고 효과적이며, 컨텍스트 내 학습만으로도 감독 기반 GNN과 비슷하거나 이를 초월하는 성능을 달성함을 보여주었다.