[논문 리뷰] GraphLLM: Boosting Graph Reasoning Ability of Large Language Model

Ziwei Chai, Tianjie Zhang외 5명|arXiv (Cornell University)|2023. 10. 09.

Topic Modeling인용 수 5

한 줄 요약

GraphLLM는 그래프 신경망을 대규모 언어 모델(Large Language Model, LLM)과 통합하는 엔드 투 엔드 프레임워크를 제안하여 그래프 추론 능력을 크게 향상시킨다. 기존의 Graph2Text 변환 방식을 고정 길이의 그래프 임베딩 프리픽스로 대체함으로써, 네 가지 그래프 추론 작업에서 평균 정확도가 54.44% 향상되고, 컨텍스트 길이가 96.45% 감소하며, 추론 속도가 3.42배 빨라진다.

ABSTRACT

The advancement of Large Language Models (LLMs) has remarkably pushed the boundaries towards artificial general intelligence (AGI), with their exceptional ability on understanding diverse types of information, including but not limited to images and audio. Despite this progress, a critical gap remains in empowering LLMs to proficiently understand and reason on graph data. Recent studies underscore LLMs' underwhelming performance on fundamental graph reasoning tasks. In this paper, we endeavor to unearth the obstacles that impede LLMs in graph reasoning, pinpointing the common practice of converting graphs into natural language descriptions (Graph2Text) as a fundamental bottleneck. To overcome this impediment, we introduce GraphLLM, a pioneering end-to-end approach that synergistically integrates graph learning models with LLMs. This synergy equips LLMs with the ability to proficiently interpret and reason on graph data, harnessing the superior expressive power of graph learning models. Our empirical evaluations across four fundamental graph reasoning tasks validate the effectiveness of GraphLLM. The results exhibit a substantial average accuracy enhancement of 54.44%, alongside a noteworthy context reduction of 96.45% across various graph reasoning tasks.

연구 동기 및 목표

• 다양한 모odal에서의 성공에도 불구하고 LLM이 기본적인 그래프 추론 작업에서 성능이 열악한 이유를 해결하기 위해.
• 컨텍스트 길이와 구조적 모호성으로 인해 Graph2Text 변환이 LLM 기반 그래프 추론에서 핵심적이고 제한적인 요소임을 규명하기 위해.
• LLM과 그래프 학습 모델을 상호보완적으로 통합하여 우수한 그래프 추론 능력을 달성하는 엔드 투 엔드 방법을 개발하기 위해.
• 정확도를 유지하거나 향상시키면서 컨텍스트 길이를 단축하고 추론 효율성을 향상시키기 위해.
• 다양한 그래프 추론 벤치마크에서 제안된 방법의 효과성을 입증하기 위해.

제안 방법

• GraphLLM는 Graph2Text를 대체하기 위해 그래프 트랜스포머를 사용하여 입력 그래프를 고정 길이의 프리픽스 임베딩으로 인코딩한다.
• 프리픽스 임베딩은 지시 프롬프트와 연결되어 LLM에 공급되며, 긴 텍스트 기반 기술을 회피한다.
• 하류 작업을 위해 그래프 인코더와 LLM을 함께 최적화하는 통합된 엔드 투 엔드 학습 전략을 사용한다.
• 프리픽스 튜닝과 LoRA 미세조정을 활용하여, 압축된 그래프 표현을 기반으로 LLM을 그래프 추론 작업에 적응시킨다.
• 그래프 트랜스포머는 노드 특징과 간선 연결을 처리하여 LLM 추론 이전에 표현력 있는 구조적 표현을 생성한다.
• 최소한의 컨텍스트 오버헤드로 제로샷 및 희소 프롬프팅을 지원하여 더 큰 그래프로의 확장성을 확보한다.

Figure 1: Demonstration of Graph2Text vs. GraphLLM . The LLM is tasked with computing the minimum quantity of dark matter necessary to transition from the starting wormhole to the ending wormhole, given the connectivity graph and the textual descriptions of each node.

실험 결과

연구 질문

• RQ1 LLM가 다른 도메인에서는 뛰어난 일반화 능력을 보이지만, 그래프 추론 작업에서는 왜 성능이 열악한가?
• RQ2 Graph2Text 변환 전략이 LLM의 그래프 구조 추론 능력에 얼마나 큰 제약을 가하는가?
• RQ3 그래프 신경망과 LLM을 엔드 투 엔드로 통합하면 그래프 추론 정확도와 효율성이 크게 향상될 수 있는가?
• RQ4 그래프 크기가 증가함에 따라 GraphLLM의 컨텍스트 길이와 추론 속도는 Graph2Text 기반 기준선과 어떻게 비교되는가?
• RQ5 표준 LLM의 컨텍스트 창을 초월하는 그래프 크기에서도 제안된 방법이 높은 성능을 유지할 수 있는가?

주요 결과

• GraphLLM는 Graph2Text 기반 기준선 대비 네 가지 그래프 추론 작업에서 평균 정확도가 54.44% 향상된다.
• Graph2Text 대비 평균 컨텍스트 길이가 96.45% 감소하여, 컨텍스트 길이가 0.04–0.055K 토큰 수준으로 낮아진다.
• GraphLLM는 최대 45개의 노드를 가진 그래프에서 높은 성능를 유지하지만, Graph2Text 기반 방법은 컨텍스트 제한을 초과하면 실패하거나 정확도가 0%로 떨어진다.
• 추가적인 그래프 인코더 계산에도 불구하고, 최고 성능을 보인 Graph2Text 기반 방법 대비 추론 속도가 3.42배 빨라진다.
• 45개 노드를 가진 부분 구조 수세기 작업에서 96.45%의 정확도를 달성했으며, gpt-3.5-turbo-16k는 컨텍스트 오버플로우로 실패했다.
• GraphLLM는 강건성과 확장성을 입증하여, 표준 LLM의 컨텍스트 창을 초월하는 그래프 크기에서도 효과적인 성능 유지를 보였다.

Figure 2: An illustration of reasoning on a toy molecular graph with GraphLLM. The LLM is requested to identify the number of C-C-O triangles in the molecule.