[논문 리뷰] keqing: knowledge-based question answering is a nature chain-of-thought mentor of LLM

Chaojie Wang, Yishi Xu외 6명|arXiv (Cornell University)|2023. 12. 31.

Topic Modeling인용 수 4

한 줄 요약

이 논문은 복잡한 질문을 단계적으로 해결할 수 있도록 지식 그래프 추론 경로를 자연스러운 사고의 연속(CoT) 멘터로 활용하는 지식 기반 질문 응답 프레임워크인 Keqing을 제안한다. 질문을 템플릿을 통해 하위 질문으로 분해하고, 관련 지식 그래프 삼항관계를 검색하며, 후보 엔티티에 대해 추론함으로써 Keqing은 답변의 신뢰성과 해석 가능성은 물론, MetaQA(1-홉에서 98.4 Hits@1, 3-홉에서 99.6)와 WebQSP(74.9 F1)에서 최신 기준 성능을 달성한다.

ABSTRACT

Large language models (LLMs) have exhibited remarkable performance on various natural language processing (NLP) tasks, especially for question answering. However, in the face of problems beyond the scope of knowledge, these LLMs tend to talk nonsense with a straight face, where the potential solution could be incorporating an Information Retrieval (IR) module and generating response based on these retrieved knowledge. In this paper, we present a novel framework to assist LLMs, such as ChatGPT, to retrieve question-related structured information on the knowledge graph, and demonstrate that Knowledge-based question answering (Keqing) could be a nature Chain-of-Thought (CoT) mentor to guide the LLM to sequentially find the answer entities of a complex question through interpretable logical chains. Specifically, the workflow of Keqing will execute decomposing a complex question according to predefined templates, retrieving candidate entities on knowledge graph, reasoning answers of sub-questions, and finally generating response with reasoning paths, which greatly improves the reliability of LLM's response. The experimental results on KBQA datasets show that Keqing can achieve competitive performance and illustrate the logic of answering each question.

연구 동기 및 목표

• 지식 그래프에서의 사실 기반 지식을 활용해 LLM의 질문 응답 과정에서 발생하는 환각 현상을 줄이기 위해.
• 복잡한 질문 응답 작업에서 LLM이 생성한 답변의 신뢰성과 해석 가능성을 향상시키기 위해.
• 지식 기반 질문 응답이 LLM에게 자연스러운 사고의 연속(CoT) 멘터로 기능할 수 있는지 탐색하기 위해.
• 사전에 수집된 지식 그래프 경로를 활용해 논리적 추론 경로를 안내하는 확장 가능하고 자동화된 프레임워크를 개발하기 위해.
• KBQA 벤치마크에서 기존의 검색 증강 및 텍스트-SQL 기반 LLM 방법을 능가하는 성능을 달성하기 위해.

제안 방법

• 사전 정의된 자연어 템플릿을 사용해 복잡한 질문을 하위 질문으로 분해함으로써 LLM이 학습하기 쉬운 논리적 분해를 가능하게 한다.
• 하위 질문에 기반해 관련 삼항관계를 지식 그래프에서 검색하는 지식 검색 모듈을 활용하여 고품질의 사실 기반 컨텍스트를 확보한다.
• 분해된 구성 요소 간의 의존성을 활용해 반복적으로 정답 엔티티를 선택하는 후보 추론 모듈을 사용한다.
• 명시적인 추론 경로를 포함한 최종 응답을 생성함으로써 답변 과정의 해석 가능성과 추적 가능성을 향상시킨다.
• 사전에 수집된 지식 그래프의 논리적 경로를 자연스러운 사고의 연속(CoT) 지도로 간주하여 수동으로 작성하거나 SQL 기반 CoT 생성을 피한다.
• LLaMA와 ChatGPT를 LLM 기반으로 지원하여 다양한 모델 성능을 평가할 수 있도록 한다.

Figure 1: The workflow of Keqing applied for KBQA mainly consists of four stages: #1 Question Decomposition : decompose a complex question into several sub-questions according to predefined question templates; #2 Knowledge Retrieval : retrieve candidate entities on the knowledge graph by aligning de

실험 결과

연구 질문

• RQ1 지식 그래프에서의 지식 기반 질문 응답이 LLM에게 자연스러운 사고의 연속(CoT) 멘터로 기능할 수 있는가?
• RQ2 질문 분해에 자연어 템플릿을 사용하는 것이 직접적인 논리적 경로 생성(예: SQL 유사) 방식에 비해 LLM의 추론 성능을 향상시키는가?
• RQ3 하위 질문당 검색된 질문 템플릿 수가 전체 KBQA 성능에 미치는 영향은 어떠한가?
• RQ4 모듈러한 추론 경로를 유지하면서도 최신 기준 성능을 달성할 수 있는가?
• RQ5 구조화된 지식 그래프 경로를 사용함으로써 LLM 응답의 환각 현상과 사실 일관성이 감소하는가?

주요 결과

• Keqing은 MetaQA 벤치마크에서 1-홉 질문에서 98.4 Hits@1, 2-홉에서 99.9, 3-홉에서 99.6을 기록하며 새로운 최신 기준 성능을 달성했다.
• Keqing-ChatGPT는 WebQSP에서 74.9 F1을 기록하여 다른 LLM 기반 KBQA 방법을 능가하며, 이 프레임워크의 워크플로우 우수성을 입증했다.
• 하위 질문당 검색된 질문 템플릿 수가 많아질수록 Keqing의 성능이 향상되며, 중간 수준에서 최고 성능을 기록한 후 컨텍스트 오버로드로 인해 감소함을 확인했다.
• 자연어 템플릿을 통한 질문 분해 방식이 직접적인 논리적 경로 생성 방식(예: SQL 유사)에 비해 유의미한 성능 향상을 보이며, LLM이 텍스트 기반 분해와 더 잘 일치함을 시사한다.
• 사전에 수집된 지식 그래프 추론 경로를 CoT 멘터로 활용함으로써 히وري스틱 또는 종단 간 CoT 방법보다 더 신뢰성 있고 해석 가능한 추론을 이끌어낸다.
• 제거 실험 결과, 특히 분해 및 검색 단계를 포함한 모듈러한 아키텍처가 성능과 강건성에 결정적인 역할을 한다는 점을 확인했다.

Figure 2: The pipeline of aligning decomposed sub-questions to executable logical chains on KG, where each sub-question will be mapped to a set of logical chains of top-K relevant question templates.