[논문 리뷰] ChatKBQA: A Generate-then-Retrieve Framework for Knowledge Base Question Answering with Fine-tuned Large Language Models

Haoran Luo, E Haihong외 10명|arXiv (Cornell University)|2023. 10. 13.

Topic Modeling인용 수 6

한 줄 요약

ChatKBQA는 지식 기반 질의 응답(KBQA)를 위한 새로운 생성-검색 프레임워크를 제안한다. 이는 먼저 Llama-2 및 Baichuan2와 같은 미세조정된 대규모 언어 모델(LLM)을 사용해 논리 형식을 생성한 후, 비지도 의미적 검색을 통해 엔터티와 관계를 검색하고 교체한다. 이 방식은 기존의 검색-생성 방법과 비교해 검색 효율성을 높이고 오류 전파를 줄이며 WebQSP 및 ComplexWebQuestions에서 최신 기술 수준(SOTA) 성능을 달성한다.

ABSTRACT

Knowledge Base Question Answering (KBQA) aims to answer natural language questions over large-scale knowledge bases (KBs), which can be summarized into two crucial steps: knowledge retrieval and semantic parsing. However, three core challenges remain: inefficient knowledge retrieval, mistakes of retrieval adversely impacting semantic parsing, and the complexity of previous KBQA methods. To tackle these challenges, we introduce ChatKBQA, a novel and simple generate-then-retrieve KBQA framework, which proposes first generating the logical form with fine-tuned LLMs, then retrieving and replacing entities and relations with an unsupervised retrieval method, to improve both generation and retrieval more directly. Experimental results show that ChatKBQA achieves new state-of-the-art performance on standard KBQA datasets, WebQSP, and CWQ. This work can also be regarded as a new paradigm for combining LLMs with knowledge graphs (KGs) for interpretable and knowledge-required question answering. Our code is publicly available.

연구 동기 및 목표

• 초기 검색에 의존하는 전통적인 KBQA 파이프라인의 비효율성과 오류 전파 문제를 해결하기 위해.
• 논리 형식 생성과 검색을 분리함으로써 다단계 KBQA 처리의 복잡성을 줄이기 위해.
• 미세조정된 오픈소스 LLM의 추론 및 생성 능력을 활용해 더 정확한 논리 형식 생성을 가능하게 하기 위해.
• 비구조적 자연어 질문이 아닌 구조화된 논리 형식을 대상으로 검색을 수행함으로써 검색 효율성을 향상시키기 위해.
• 유연한 LLM, 튜닝 방법, 검색 모델 교체가 가능한 즉시 통합 가능한 프레임워크를 구축하기 위해.

제안 방법

• 지침 튜닝을 통해 오픈소스 LLM(Llama-2, Baichuan2, ChatGLM2 등)를 미세조정하여 질문에서 논리 형식을 생성하도록 한다.
• 질문 내 엔터티와 관계를 마스킹하여 스켈레톤을 생성함으로써 모델이 일관된 논리 형식 구조를 학습할 수 있도록 한다.
• 추론 시 빔 서치를 적용하여 후보 논리 형식을 생성하고, 테스트 질문에서 정확히 일치하는 비율을 74%로 달성한다.
• SimCSE, Contriever 또는 BM25를 사용해 비지도 문구 수준 의미 검색을 적용하여 생성된 논리 형식 내 엔터티와 관계를 검색하고 교체한다.
• 생성된 논리 형식 내 자리표시자들을 검색된 엔터티와 관계로 대체하여 유효한 SPARQL 유사 쿼리로 구성한다.
• LLM, 효율적인 미세조정 방법(LoRA, QLoRA, P-Tuning v2), 검색 모델 등 교환 가능한 구성 요소를 허용함으로써 즉시 통합 통합을 지원한다.

실험 결과

연구 질문

• RQ1 생성-검색 프레임워크가 기존의 검색-생성 KBQA 방법에 비해 정확도와 효율성 측면에서 뛰어나게 작용할 수 있는가?
• RQ2 사전 검색에 의존하지 않고도 미세조정된 LLM이 얼마나 정확한 논리 형식을 생성할 수 있는가?
• RQ3 생성된 논리 형식에서 검색을 수행할 경우와 비구조적 자연어 질문에서 검색을 수행할 경우의 효율성은 어떻게 비교되는가?
• RQ4 다양한 LLM, 튜닝 전략, 검색 모델 간에도 이 프레임워크가 높은 성능을 유지할 수 있는가?
• RQ5 즉시 통합 설계가 다양한 하드웨어 및 모델 구성 환경에서의 민첩하고 확장 가능한 배포를 가능하게 하는가?

주요 결과

• Llama-2-13B에 LoRA 미세조정과 SimCSE 검색을 적용한 ChatKBQA는 WebQSP 벤치마크에서 82.6% F1, 85.2% Hits@1, 77.5% 정확도로 새로운 최신 기술 수준 성능을 달성했다.
• ComplexWebQuestions(CWQ) 데이터셋에서는 Llama-2-13B에 LoRA와 Contriever 검색을 적용해 81.5% F1, 83.6% Hits@1, 76.8% 정확도를 기록했다.
• 생성된 논리 형식의 약 74%가 정확히 지식 기반의 참값과 일치하며, 엔터티와 관계를 마스킹한 경우 91% 이상이 올바른 구조 형식을 유지한다.
• 생성-검색 설정에서 검색 효율성이 크게 향상되었다: 엔터티 및 관계 검색의 의미 유사도 점수는 AG-R(생성 후)에서 NL-R(자연어에서)보다 일관되게 높았으며, 특히 관계 검색에서 두드러졌다.
• 즉시 통합 설계 덕분에 구성 요소를 자유롭게 교체할 수 있었다—예를 들어 Baichuan2-7B에서 Llama-2-13B로 LLM을 교체하거나 SimCSE에서 BM25로 검색 모델을 교체해도 다양한 변형에서도 뛰어난 성능을 유지했다.
• 이 프레임워크는 강건성과 확장성을 입증했으며, LLM 업그레이드, 튜닝 방법(예: QLoRA) 또는 검색 모델 업그레이드 시 성능 향상이 관찰되었다.