[논문 리뷰] Evaluating Large Language Models on Graphs: Performance Insights and Comparative Analysis

Chang Liu, Bo Wu|arXiv (Cornell University)|2023. 08. 22.

Topic Modeling인용 수 4

한 줄 요약

이 연구는 네 가지 메트릭—Understanding, Correctness, Fidelity, Rectification—을 사용하여 그래프 추론 작업에서 네 개의 LLM(GPT-3.5-turbo, GPT-4, 그리고 두 개의 오픈소스 모델)을 평가한다. 결과적으로 GPT 모델은 정확도와 이해도에서 다른 모델보다 뛰어나지만, 다중 답변 작업에서 높은 환각율과 과도한 자신감을 보이며 자기 수정 능력이 제한되어 있으며, GPT-4는 자신의 오류뿐 아니라 GPT-3.5-turbo의 오류를 부분적으로 수정할 수 있는 능력을 보였다.

ABSTRACT

Large Language Models (LLMs) have garnered considerable interest within both academic and industrial. Yet, the application of LLMs to graph data remains under-explored. In this study, we evaluate the capabilities of four LLMs in addressing several analytical problems with graph data. We employ four distinct evaluation metrics: Comprehension, Correctness, Fidelity, and Rectification. Our results show that: 1) LLMs effectively comprehend graph data in natural language and reason with graph topology. 2) GPT models can generate logical and coherent results, outperforming alternatives in correctness. 3) All examined LLMs face challenges in structural reasoning, with techniques like zero-shot chain-of-thought and few-shot prompting showing diminished efficacy. 4) GPT models often produce erroneous answers in multi-answer tasks, raising concerns in fidelity. 5) GPT models exhibit elevated confidence in their outputs, potentially hindering their rectification capacities. Notably, GPT-4 has demonstrated the capacity to rectify responses from GPT-3.5-turbo and its own previous iterations. The code is available at: https://github.com/Ayame1006/LLMtoGraph.

연구 동기 및 목표

• 자연어로 기술된 그래프 위상 정보를 이해하고 추론할 수 있는 LLM의 능력을 평가하기 위해.
• 두 개의 GPT 모델과 두 개의 오픈소스 모델을 포함한 네 개의 LLM이 그래프 기반 추론 작업에서 어떻게 성능을 내는지 비교하기 위해.
• 제로샷 체인오브thought 및 팔문 프롬프팅과 같은 프롬프팅 기법이 그래프 추론 성능 향상에 얼마나 효과적인지 조사하기 위해.
• 다중 답변 작업에서의 모델의 정확도 및 자기 수정 능력을 평가하고, 특히 오류가 발생하기 쉬운 상황에서의 성능을 분석하기 위해.
• 그래프 기반 AI 응용 분야에서 LLM의 한계와 잠재력을 이해하기 위해.

제안 방법

• 연구는 단순한 경로 탐색, k-hop 이웃 분류, 모든 최단 경로 문제를 포함한 그래프 추론 작업 세트를 설계한다.
• 그래프는 무작위로 생성되며, 실제 네트워크 구조의 텍스트 표현 방식을 시뮬레이션하기 위해 자연어로 기술된다.
• 네 가지 평가 메트릭이 적용된다: Understanding(그래프 구조 이해도), Correctness(정답률), Fidelity(다중 답변 작업에서 정답 비율), Rectification(이전 오류를 수정할 수 있는 능력).
• 체인오브thought 및 팔문 프롬프팅을 포함한 다양한 프롬프팅 전략을 테스트하여 추론 품질에 미치는 영향을 평가한다.
• 그래프의 희박성 수준(에지 백분율: 70%, 90%)을 변화시켜 구조적 복잡성 하에서의 강건성 테스트를 수행한다.
• GPT-3.5-turbo, GPT-4, 그리고 두 개의 오픈소스 LLM을 동일한 조건에서 비교하여 편향 없는 평가를 수행한다.

실험 결과

연구 질문

• RQ1 자연어로 기술된 그래프 데이터를 효과적으로 이해하고, 그 위상적 구조에 대해 추론할 수 있는가?
• RQ2 다중 답변 그래프 추론 작업에서 다른 LLM의 정확도와 정밀도는 어떻게 비교되는가?
• RQ3 제로샷 체인오브thought 및 팔문 프롬프팅과 같은 프롬프팅 기법이 그래프 추론 성능 향상에 얼마나 기여하는가?
• RQ4 LLM은 출력에 대해 과도한 자신감을 보이며, 잘못된 응답을 수정할 수 있는가?
• RQ5 GPT-4는 GPT-3.5-turbo의 오류나 자신의 이전 출력 오류를 수정할 수 있는가? 이는 자기 개선 능력을 보여주는가?

주요 결과

• GPT-4는 GPT-3.5-turbo의 응답뿐 아니라 자신의 이전 출력까지도 수정할 수 있는 능력을 보여, 부분적인 자기 수정 능력을 가짐을 입증함.
• GPT-3.5-turbo는 한 개의 다중 답변 평가에서 정확한 답변보다 7배나 많은 오류 응답을 생성하여 낮은 정밀도를 보임.
• 밀도가 높은 그래프(90% 에지 밀도)에서 GPT-3.5-turbo는 55.32%의 정확도를 기록했고, 583개의 부적절한 응답을 생성했으며, GPT-4는 31.91%의 정확도를 기록했고, 오직 17개의 부적절한 응답만 생성함.
• 두 GPT 모델 모두 그래프 밀도가 높아질수록 환각 현상이 증가했으며, GPT-3.5-turbo는 GPT-4보다 유의미하게 더 많은 오류 출력을 생성함.
• 제로샷 체인오브thought 및 팔문 프롬프팅은 성능 향상에 일관되게 기여하지 못했고, 특히 복잡한 위상적 추론에서 오류 응답을 유발하는 경우가 있었음.
• GPT 모델들은 잘못된 출력에도 불구하고 높은 자신감을 보였으며, 이는 효과적인 자기 수정 및 오류 보정을 방해할 수 있음.