[논문 리뷰] Reasoning-Enhanced Healthcare Predictions with Knowledge Graph Community Retrieval

Pengcheng Jiang, Cao Xiao외 5명|arXiv (Cornell University)|2024. 10. 06.

Biomedical Text Mining and OntologiesBiochemistry, Genetics and Molecular Biology인용 수 3

한 줄 요약

KARE는 지식 그래프(KG) 커뮤니티 검색과 대규모 언어 모델(LLM) 추론을 통합하여 임상 예측을 향상시키는 혁신적인 프레임워크이다. 이 프레임워크는 다중 소스 의료 KG를 구축하고, 정밀한 검색을 위해 계층적 커뮤니티로 정렬하며, 환자 맥락을 집중적이고 다각적인 의료 통찰으로 동적으로 강화하여, MIMIC-III 및 MIMIC-IV에서 최신 기술 대비 사망률 및 재입원 예측에서 최대 15.0% 향상된 성능을 달성한다.

ABSTRACT

Large language models (LLMs) have demonstrated significant potential in clinical decision support. Yet LLMs still suffer from hallucinations and lack fine-grained contextual medical knowledge, limiting their high-stake healthcare applications such as clinical diagnosis. Traditional retrieval-augmented generation (RAG) methods attempt to address these limitations but frequently retrieve sparse or irrelevant information, undermining prediction accuracy. We introduce KARE, a novel framework that integrates knowledge graph (KG) community-level retrieval with LLM reasoning to enhance healthcare predictions. KARE constructs a comprehensive multi-source KG by integrating biomedical databases, clinical literature, and LLM-generated insights, and organizes it using hierarchical graph community detection and summarization for precise and contextually relevant information retrieval. Our key innovations include: (1) a dense medical knowledge structuring approach enabling accurate retrieval of relevant information; (2) a dynamic knowledge retrieval mechanism that enriches patient contexts with focused, multi-faceted medical insights; and (3) a reasoning-enhanced prediction framework that leverages these enriched contexts to produce both accurate and interpretable clinical predictions. Extensive experiments demonstrate that KARE outperforms leading models by up to 10.8-15.0% on MIMIC-III and 12.6-12.7% on MIMIC-IV for mortality and readmission predictions. In addition to its impressive prediction accuracy, our framework leverages the reasoning capabilities of LLMs, enhancing the trustworthiness of clinical predictions.

연구 동기 및 목표

• 임상 의사결정 지원을 위한 LLM에서의 환각 현상과 세밀한 의료 지식 부족 문제를 해결하기 위해.
• 기존의 검색 증강 생성(RAG)의 한계를 극복하기 위해 의미적으로 관련성 있고 맥락적으로 정밀한 의료 지식을 검색하기 위해.
• 입원 중 사망률 및 재입원 예측과 같은 고위험 임상 과제에서 예측 정확도와 해석 가능성 향상을 위해.
• 계층적 그래프 커뮤니티 탐지 및 요약을 활용하여 구조화되고 검색 최적화된 의료 지식 그래프를 만들기 위해.
• 동적으로 검색된 KG 커뮤니티와 함께 추론 강화된 LLM을 통합하여 신뢰할 수 있고 증거 기반의 예측을 제공하기 위해.

제안 방법

• 생물의학 데이터베이스, 임상 문헌 및 LLM 생성 통찰을 통합하여 종합적이고 다중 소스 지식 그래프를 구축한다.
• 계층적 그래프 커뮤니티 탐지 및 요약을 적용하여 지식 그래프를 의미적으로 유의미하고 맥락적으로 관련된 하위그래프로 정렬한다.
• 환자의 임상 맥락에 맞게 조정된 사전 요약된 KG 커뮤니티를 선택하고 검색하는 동적 지식 검색 메커니즘을 구현한다.
• 검색된 KG 커뮤니티 통찰을 환자 입력에 통합하여 LLM 추론을 위한 맥락을 풍부하게 한다.
• 검색된 의료 지식에 기반한 단계별 추론 체인을 생성하는 추론 강화된 예측 프레임워크를 활용한다.
• LLM이 환자 EHR와 맥락적으로 관련된 KG 커뮤니티를 기반으로 예측을 생성하는 검색 증강 생성 파이프라인을 구현한다.

실험 결과

연구 질문

• RQ1 전통적인 RAG에 비해 KG 커뮤니티 수준의 검색이 임상 예측에서 검색된 의료 지식의 관련성과 정밀도를 향상시키는가?
• RQ2 계층적 그래프 커뮤니티 탐지 및 요약의 통합이 LLM이 사용할 수 있는 검색된 지식의 품질을 어떻게 향상시키는가?
• RQ3 동적이고 맥락 인식 기반의 KG 커뮤니티 검색이 사망률 및 재입원 과제에서 예측 정확도를 얼마나 향상시키는가?
• RQ4 검색된 KG 통찰을 활용하는 추론 강화된 LLM은 더 해석 가능하고 신뢰할 수 있는 임상 예측을 만들어내는가?
• RQ5 다양한 임상 예측 벤치마크에서 KARE는 최신 기술 모델 대비 성능과 내구성 측면에서 어떻게 비교되는가?

주요 결과

• KARE는 MIMIC-III 데이터셋에서 최상의 기준 모델 대비 입원 중 사망률 예측에서 최대 15.0%의 상대적 향상을 달성한다.
• MIMIC-IV 데이터셋에서는 KARE가 최신 기술 방법에 비해 재입원 예측 성능을 최대 12.7% 향상시킨다.
• KARE는 MIMIC-III 및 MIMIC-IV 양측에서 일관된 성과 향상을 보이며, 사망률 과제에서 10.8%에서 15.0%까지, 재입원 과제에서 12.6%에서 12.7%까지 향상된다.
• 검색된 KG 통찰과 추론 체인의 통합은 모델의 해석 가능성을 크게 향상시켜 임상의가 예측을 특정 의료 증거로 추적할 수 있도록 한다.
• 사례 연구 결과, KARE는 심부전과 충격, 다발성 암 등 복합 공존 질환을 가진 고위험 환자를 정확히 식별하며, KG 커뮤니티에서 유도된 다각적 지식을 융합함으로써 이를 실현한다.
• 동적 검색 메커니즘은 의미적으로 일관되고 맥락적으로 관련된 하위그래프에 집중함으로써 관련 없거나 흐릿한 지식을 피하여 환각 위험을 감소시킨다.