[논문 리뷰] GPT4Graph: Can Large Language Models Understand Graph Structured Data ? An Empirical Evaluation and Benchmarking

Jiayan Guo, Lun Du외 4명|arXiv (Cornell University)|2023. 05. 24.

Topic Modeling인용 수 14

한 줄 요약

본 논문은 LLM과 그래프 구조화 데이터를 결합한 프레임워크를 제시하고, 열 가지 과제를 아우르는 그래프 이해 벤치마크를 도입하며, LLM이 특화된 그래프 모델에 비해 그래프 데이터를 다루는 능력이 제한적이지만 향상될 여지가 있음을 보인다.

ABSTRACT

Large language models~(LLM) like ChatGPT have become indispensable to artificial general intelligence~(AGI), demonstrating excellent performance in various natural language processing tasks. In the real world, graph data is ubiquitous and an essential part of AGI and prevails in domains like social network analysis, bioinformatics and recommender systems. The training corpus of large language models often includes some algorithmic components, which allows them to achieve certain effects on some graph data-related problems. However, there is still little research on their performance on a broader range of graph-structured data. In this study, we conduct an extensive investigation to assess the proficiency of LLMs in comprehending graph data, employing a diverse range of structural and semantic-related tasks. Our analysis encompasses 10 distinct tasks that evaluate the LLMs' capabilities in graph understanding. Through our study, we not only uncover the current limitations of language models in comprehending graph structures and performing associated reasoning tasks but also emphasize the necessity for further advancements and novel approaches to enhance their graph processing capabilities. Our findings contribute valuable insights towards bridging the gap between language models and graph understanding, paving the way for more effective graph mining and knowledge extraction.

연구 동기 및 목표

• 대형 언어 모델이 그래프 구조화 데이터를 이해하고 추론하는 능력을 촉진하고 평가한다.
• 그래프를 그래프 설명 언어(GDL)로 변환하고 프롬프트링 기법을 사용하여 LLM의 그래프에 대한 추론을 가능하게 하는 프레임워크를 제안한다.
• 구조와 의미를 포괄하는 열 가지 그래프 관련 작업에 걸친 벤치마크를 구축하여 LLM과 그래프 지향 모델을 비교한다.

제안 방법

• 그래프를 그래프 설명 언어(GDL)로 변환하고 프롬프트 핸들러를 사용하여 그래프 데이터와 질의를 교차 배치하는 'LLM과 함께하는 그래프 이해' 프레임워크를 도입한다.
• 그래프 이해를 향상시키기 위한 수동 프롬프트와 자기 프롬프트 전략을 탐구하고, 맥락 요약, 형식 설명, 역할 프롬프트를 포함한다.
• 일회성(one-shot), 제로샷(zero-shot), 그리고 cot 변형을 포함한 다양한 프롬프트 설계와 입력 순서를 평가하여 성능에 미치는 영향을 연구한다.
• 구조적 작업(크기, 차수, 간선, 직경, 군집화, 속성 검색) 및 의미론적 작업(KGQA, GQL 생성, 노드/그래프 분류)에 프레임워크를 적용한다.
• 실험에서 기본 LM으로 InstructGPT-3(text-davinci-003)를 사용하고 온도는 0.3으로 설정한다.

실험 결과

연구 질문

• RQ1 그래프가 그래프 설명 언어(GDL)로 기술될 때 LLM이 그래프 구조화 데이터의 이해와 추론을 할 수 있는가?
• RQ2 프롬프트 설계, 역할 프롬 prompting, 일회성 vs 제로샷, 입력 순서가 그래프 작업에서 LLM의 성능에 어떤 영향을 미치는가?
• RQ3 구조 전용 작업(예: 직경, 중심성)과 의미 작업(KGQA, GQL 생성, 노드/그래프 분류)을 그래프에서 LLM이 어느 정도 수행할 수 있는가?
• RQ4 공통 그래프 작업 벤치마크에서 LLM이 특화된 그래프 모델과 어떻게 비교되는가?

주요 결과

• 입력 설계가 그래프 작업에서 LLM 성능에 상당한 영향을 미친다.
• 역할 프롬프트는 일반적으로 구조 이해 작업의 성능을 향상시킨다.
• 예시는 경우에 따라 도움이 있지만 잡음을 유발할 수도 있으며, 특정 그래프 작업에서 제로샷이 예시가 풍부한 프롬프트보다 더 나은 성능을 보일 수 있다.
• 그래프 입력 앞에 외부 지식을 배치하는 것이 뒤에 두는 것보다 더 나은 결과를 얻는 경향이 있다.
• LLMs는 그래프 강화 프롬프트를 사용한 일부 의미 작업에서 경쟁력 있는 결과를 보이지만, 대부분의 벤치마크에서 최첨단 그래프 모델이 여전히 더 우수하다.
• 자체 증강(형식 설명 및 이웃 요약)은 그래프 및 그래프 분류 작업을 향상시킬 수 있다.