[논문 리뷰] Think-on-Graph: Deep and Responsible Reasoning of Large Language Model on Knowledge Graph

Jiashuo Sun, Chengjin Xu외 7명|arXiv (Cornell University)|2023. 07. 15.

Topic Modeling인용 수 52

한 줄 요약

Think-on-Graph (ToG) 제안을 하는, LLM⊗KG 추론 프레임워크로서 LLM이 에이전트 역할을 하여 빔 탐색을 통해 지식 그래프를 반복적으로 탐색하고, 추가 학습 없이 심층 추론, 추적성 및 유연성을 개선한다.

ABSTRACT

Although large language models (LLMs) have achieved significant success in various tasks, they often struggle with hallucination problems, especially in scenarios requiring deep and responsible reasoning. These issues could be partially addressed by introducing external knowledge graphs (KG) in LLM reasoning. In this paper, we propose a new LLM-KG integrating paradigm ``$\hbox{LLM}\otimes\hbox{KG}$'' which treats the LLM as an agent to interactively explore related entities and relations on KGs and perform reasoning based on the retrieved knowledge. We further implement this paradigm by introducing a new approach called Think-on-Graph (ToG), in which the LLM agent iteratively executes beam search on KG, discovers the most promising reasoning paths, and returns the most likely reasoning results. We use a number of well-designed experiments to examine and illustrate the following advantages of ToG: 1) compared with LLMs, ToG has better deep reasoning power; 2) ToG has the ability of knowledge traceability and knowledge correctability by leveraging LLMs reasoning and expert feedback; 3) ToG provides a flexible plug-and-play framework for different LLMs, KGs and prompting strategies without any additional training cost; 4) the performance of ToG with small LLM models could exceed large LLM such as GPT-4 in certain scenarios and this reduces the cost of LLM deployment and application. As a training-free method with lower computational cost and better generality, ToG achieves overall SOTA in 6 out of 9 datasets where most previous SOTAs rely on additional training.

연구 동기 및 목표

• LLM의 환각 및 깊은 추론 한계를 다루기 위해 외부 지식 그래프의 통합을 동력화한다.
• 인터랙티브 KG 추론을 위한 밀착 결합 LLM⊗KG 패러다임을 제시한다.
• ToG를 개발하여 KG 경로를 빔 탐색으로 반복적으로 탐색하고 설명과 추적 가능한 추론 경로를 생성한다.
• 작은 LLM을 포함한 다수의 데이터셋과 백본에서 ToG의 효과를 입증한다.

제안 방법

• LLM가 에이전트로 작용하여 KG 트리플을 탐색하고 검색된 지식에 대해 추론하는 LLM⊗KG 패러다임을 도입한다.
• Think-on-Graph(ToG)를 세 가지 단계로 구현한다: 초기화, 탐색(빔 검색을 통한 관계 및 엔터티 가지치기), 그리고 추론.
• 빔 검색을 사용하여 상위-N 추론 경로를 유지하고 자신감 있는 해답이 도출될 때까지 깊이 방향으로 반복 확장한다.
• 관계 기반 변형(ToG-R)을 제공하여 관계 사슬에 집중하고 무작위 가지치기를 사용해 계산을 줄인다.
• 학습 없이 작동하며 다양한 LLM 및 KG와의 플러그앤플레이 호환성을 제공하되 LLM 매개변수 업데이트 없이.

실험 결과

연구 질문

• RQ1 ToG가 프롬프트 기반 baselines와 비교했을 때 KG 기반 질문에 대한 심층 다중-홉 추론을 개선할 수 있는가?
• RQ2 ToG가 지식 추적성과 수정 메커니즘을 제공하여 환각을 줄이는가?
• RQ3 다른 백본 LLM과 지식 그래프에서 ToG의 성능은 어떠한가?
• RQ4 큰 LLM 중심의 접근방식보다 비용 효율적이면서 성능을 유지하거나 향상시키는가?
• RQ5 프롬프트 설계, KG 유형 및 가지치기 전략이 ToG의 성능에 미치는 영향은 무엇인가?

주요 결과

• ToG가 GPT-4를 사용하여 9개 데이터셋 중 7개에서 새로운 SOTA를 달성하고 평가된 모든 데이터셋에서 프롬프트 기반 기준선들보다 우수하다.
• ToG는 KG에서 다양한 추론 경로를 추출하여 심층적이고 다단계 추론을 가능하게 한다.
• ToG는 명시적 추론 경로와 산출 추적을 통해 지식 추적성과 수정 가능성을 제공한다.
• ToG의 플러그-앤-플레이 디자인은 다양한 LLM(ChatGPT, GPT-4, LLaMA-2) 및 KG(Freebase, Wikidata)에서 작동하며 이익은 다양하다.
• 작은 규모의 LLM들(예: LLaMA-2-70B)이 ToG와 결합될 경우 KGQA 시나리오에서 일부 더 큰 LLM들을 능가할 수 있어 비용 이점을 제공한다.
• 학습 없이 프롬프팅으로 ToG가 학습 기반 SOTA에 비해 경쟁력 있는 성능을 달성하면서 학습 필요성을 감소시킨다.