[논문 리뷰] HyKGE: A Hypothesis Knowledge Graph Enhanced Framework for Accurate and Reliable Medical LLMs Responses

Xinke Jiang, Ruizhe Zhang외 9명|arXiv (Cornell University)|2023. 12. 26.

Topic Modeling인용 수 5

한 줄 요약

HyKGE는 의료 LLM의 정확성과 신뢰성을 향상시키기 위해 가설 생성과 지식 그래프(KG) 검색을 통합하는 새로운 프레임워크이다. 이 프레임워크는 모호한 질의에서 구조화된 가설을 생성하고, 이를 지식 그래프 엔터티와 정렬하여 타겟팅된 검색을 수행하며, 결과를 정밀하게 보완하기 위해 프ragment 재순서 모듈을 적용한다. 의료 QA 벤치마크에서 더 낮은 환각 현상과 향상된 해석 가능성으로 뛰어난 성능을 보여준다.

ABSTRACT

In this paper, we investigate the retrieval-augmented generation (RAG) based on Knowledge Graphs (KGs) to improve the accuracy and reliability of Large Language Models (LLMs). Recent approaches suffer from insufficient and repetitive knowledge retrieval, tedious and time-consuming query parsing, and monotonous knowledge utilization. To this end, we develop a Hypothesis Knowledge Graph Enhanced (HyKGE) framework, which leverages LLMs' powerful reasoning capacity to compensate for the incompleteness of user queries, optimizes the interaction process with LLMs, and provides diverse retrieved knowledge. Specifically, HyKGE explores the zero-shot capability and the rich knowledge of LLMs with Hypothesis Outputs to extend feasible exploration directions in the KGs, as well as the carefully curated prompt to enhance the density and efficiency of LLMs' responses. Furthermore, we introduce the HO Fragment Granularity-aware Rerank Module to filter out noise while ensuring the balance between diversity and relevance in retrieved knowledge. Experiments on two Chinese medical multiple-choice question datasets and one Chinese open-domain medical Q&A dataset with two LLM turbos demonstrate the superiority of HyKGE in terms of accuracy and explainability.

연구 동기 및 목표

• 외부 지식 그래프를 통합하여 의료 LLM에서 발생하는 사실적 오류와 환각 현상을 해결하기 위해.
• 질의가 모호하거나 불완전할 경우 사용자 질의와 고품질의 구조화된 지식 간의 정렬을 향상시키기 위해.
• 다중 LLM 상호작용에 의존하는 것을 줄이고, 한 번의 상호작용으로도 효율적인 가설 기반 검색을 가능하게 하기 위해.
• 임상 의사결정 환경에서 LLM 응답의 해석 가능성과 신뢰성을 향상시키기 위해.
• 검증된 KG 증거를 사용하여 LLM 출력에서 잘못된 지식을 수정하는 프레임워크를 개발하기 위해.

제안 방법

• 사용자 질의가 불완전하거나 모호할 경우 LLM의 제로샷 추론 능력을 활용하여 포괄적인 가설 문서를 생성한다.
• 가설 출력을 바탕으로 지식 그래프 내 앵커 엔터티와 관계를 식별하여 타겟팅된 검색을 수행한다.
• 짧은 지식 스니펫을 재구성하고 융합하여 가설 및 질의와의 정렬도 향상시키는 프ragment 재순서 모듈을 적용한다.
• 계층적 온톨로지(HO)와 지식 그래프(KG)를 통합하여 LLM이 생성한 잘못되거나 비논리적인 응답을 검증하고 수정한다.
• 사전 검색 단계의 가설 생성과 사후 검색 단계의 정밀화를 두 단계로 나누어 노이즈를 최소화하고 정밀도를 향상시킨다.
• 자연어 프롬프트를 활용하여 LLM이 더 풍부하고 제약이 강한 가설을 생성하도록 유도하여 반복적 상호작용의 필요성을 줄인다.

Figure 1. HyKGE Example.

실험 결과

연구 질문

• RQ1 LLM이 생성한 가설은 의료 QA에서 사용자 질의와 고품질 지식 그래프 엔터티 간의 정렬을 향상시키는 데 기여하는가?
• RQ2 사용자 질의가 모호하거나 제약이 부족할 경우 지식 그래프 검색을 어떻게 더 효율적이고 정확하게 만들 수 있는가?
• RQ3 프ragment 재순서 모듈은 지식 그래프 스니펫에서 추출한 짧은 스니펫을 정밀하게 보완함으로써 검색 정밀도를 얼마나 향상시킬 수 있는가?
• RQ4 지식 그래프 통합을 통해 LLM이 생성한 환각되거나 잘못된 응답을 의료 추론 과제에서 수정할 수 있는가?
• RQ5 복잡한 의료 상황에서 기존의 RAG나 미세조정된 LLM에 비해 HyKGE 프레임워크는 정확성과 신뢰성 측면에서 얼마나 향상되는가?

주요 결과

• HyKGE는 구조화된 지식 그래프를 사용하여 잘못된 지식을 검증하고 수정함으로써 의료 LLM 응답의 환각 현상을 크게 감소시킨다.
• 두 개의 의료 다중선택형 질문 데이터셋에서 높은 성능을 기록하여 기준 RAG 및 미세조정된 LLM에 비해 정확성과 신뢰성이 향상됨을 입증한다.
• 프ragment 재순서 모듈은 가설 기반 질의와 지식 그래프 스니펫 간의 미세한 정렬을 가능하게 하여 검색 정밀도를 향상시킨다.
• 사례 연구에서는 HyKGE가 초기 LLM 생성 오류를 성공적으로 수정함을 입증하였으며, 이는 추론 체인에서 빨간색(초기 가설)에서 초록색(KG 검증 응답)으로의 전환을 통해 확인된다.
• 단일 단계에서 포괄적인 가설을 생성함으로써 다중 LLM 상호작용의 필요성을 줄여 효율성을 향상시킨다.
• GPT-3.5 Turbo를 활용한 실험에서 HyKGE는 특히 모호하거나 전문적인 임상 맥락에서 다양한 복잡한 의료 질의에서도 높은 성능을 유지함을 확인했다.

Figure 2. HyKGE Method.