[논문 리뷰] Reasoning on Graphs: Faithful and Interpretable Large Language Model Reasoning

Linhao Luo, Yuan-Fang Li외 2명|arXiv (Cornell University)|2023. 10. 02.

Topic Modeling인용 수 38

한 줄 요약

RoG는 지식 그래프와 LLM을 계획-검색-추론 프레임워크로 결합하여 충실하고 해석 가능한 KG 추론 및 최첨단 KGQA 성능을 달성합니다. KG 지식을 LLM에 증류하고 KG 경로를 검색하여 추론을 안내합니다.

ABSTRACT

Large language models (LLMs) have demonstrated impressive reasoning abilities in complex tasks. However, they lack up-to-date knowledge and experience hallucinations during reasoning, which can lead to incorrect reasoning processes and diminish their performance and trustworthiness. Knowledge graphs (KGs), which capture vast amounts of facts in a structured format, offer a reliable source of knowledge for reasoning. Nevertheless, existing KG-based LLM reasoning methods only treat KGs as factual knowledge bases and overlook the importance of their structural information for reasoning. In this paper, we propose a novel method called reasoning on graphs (RoG) that synergizes LLMs with KGs to enable faithful and interpretable reasoning. Specifically, we present a planning-retrieval-reasoning framework, where RoG first generates relation paths grounded by KGs as faithful plans. These plans are then used to retrieve valid reasoning paths from the KGs for LLMs to conduct faithful reasoning. Furthermore, RoG not only distills knowledge from KGs to improve the reasoning ability of LLMs through training but also allows seamless integration with any arbitrary LLMs during inference. Extensive experiments on two benchmark KGQA datasets demonstrate that RoG achieves state-of-the-art performance on KG reasoning tasks and generates faithful and interpretable reasoning results.

연구 동기 및 목표

• 구조화된 KG 지식을 활용하여 LLM에서 충실한 추론을 유도한다.
• LLM 계획을 KG 구조에 근거를 두는 계획-검색-추론 프레임워크를 제안한다.
• KG 지식을 LLM으로 증류하고 추론 시점에 어떤 LLM과도 통합 가능하도록 한다.
• 벤치마크 데이터셋에서 최신 KGQA 성능과 해석 가능한 추론을 입증한다.

제안 방법

• KG 기반의 관계 경로를 LLM에 대한 충실한 계획 프롬프트로 생성한다.
• 계획된 관계 경로를 따라 KG에서 추론 경로를 검색한다.
• 검색된 경로를 바탕으로 추론 모듈을 사용하여 질문에 응답하고 해석 가능한 설명을 제공한다.
• 계획 최적화와 추론-검색 최적화의 두 가지 지시어 미세조정 작업으로 최적화한다.
• 주어진 질문과 검색된 경로에 대해 정답의 확률을 최대화하도록 목적함수를 설정한다(ELBO 기반).
• 추론 시 임의의 LLM과의 플러그-앤-플레이 통합을 허용한다.

실험 결과

연구 질문

• RQ1 RoG가 KGQA 작업에서 최첨단 성능을 달성할 수 있는가?
• RQ2 RoG의 계획 모듈이 다른 LLM과 통합되어 성능을 향상시킬 수 있는가?
• RQ3 RoG를 미세조정하여 다른 지식 그래프로 전이할 수 있는가?
• RQ4 RoG가 충실한 추론과 해석 가능한 결과를 제공할 수 있는가?

주요 결과

• RoG는 WebQSP 및 CWQ KGQA 벤치마크에서 최첨단 성능을 달성한다.
• 다양한 LLM과 RoG 계획 모듈의 통합은 그들의 추론 정확도를 크게 향상 시킨다.
• RoG는 효과적인 미세조정 전략으로 다른 KG(MetaQA-3hop)로의 전이 가능성을 보여준다.
• RoG는 충실한 추론 경로와 해석 가능한 설명을 제공하여 기준선에 비해 환각을 줄인다.
• 깊이 분석 연구에서 계획 모듈과 추론 모듈이 성능 향상에 필수적임이 나타난다.