[논문 리뷰] medIKAL: Integrating Knowledge Graphs as Assistants of LLMs for Enhanced Clinical Diagnosis on EMRs

Mingyi Jia, Junwen Duan외 2명|arXiv (Cornell University)|2024. 06. 20.

Biomedical Text Mining and Ontologies인용 수 4

한 줄 요약

medIKAL는 전자 의무기록(EMR)에서 임상 진료를 향상시키기 위해 지식 그래프(KG)를 대규모 언어 모델(LLM)의 외부 보조자로 통합하는 새로운 프레임워크를 제안한다. 의료 엔티티의 유형 기반 가중치를 부여하고 잔차 신경망 기반 통합 방법을 사용함으로써, LLM의 KG에 대한 과도한 의존도를 줄이고 진단 정확도를 향상시킨다. 새로운 중국어 EMR 데이터셋에서 36.93의 F1 스코어를 기록하였다.

ABSTRACT

Electronic Medical Records (EMRs), while integral to modern healthcare, present challenges for clinical reasoning and diagnosis due to their complexity and information redundancy. To address this, we proposed medIKAL (Integrating Knowledge Graphs as Assistants of LLMs), a framework that combines Large Language Models (LLMs) with knowledge graphs (KGs) to enhance diagnostic capabilities. medIKAL assigns weighted importance to entities in medical records based on their type, enabling precise localization of candidate diseases within KGs. It innovatively employs a residual network-like approach, allowing initial diagnosis by the LLM to be merged into KG search results. Through a path-based reranking algorithm and a fill-in-the-blank style prompt template, it further refined the diagnostic process. We validated medIKAL's effectiveness through extensive experiments on a newly introduced open-sourced Chinese EMR dataset, demonstrating its potential to improve clinical diagnosis in real-world settings.

연구 동기 및 목표

• 기존의 LLM-KG 통합 방법이 전자 의무기록(EMR) 진료에서 겪는 한계, 특히 외부 지식에 대한 과도한 의존도와 복잡하고 중복된 EMR 데이터를 잘 다루지 못하는 문제를 해결하기 위해.
• 정형화된 지식 그래프(KG)의 구조화된 지식을 활용하면서도 LLM 내부의 의료 지식을 유지하고 통합할 수 있는 프레임워크를 개발하기 위해.
• 엔티티 유형 인식 기반 가중치와 경로 기반 재순서 알고리즘을 통해 정보가 풍부하고 중복된 EMR에서의 진단 성능을 향상시키기 위해.
• 향후 임상 NLP 연구를 지원하기 위해 오픈소스이자 고품질인 중국어 EMR 데이터셋(CMEMR)을 제공하기 위해.
• LLM 예측과 KG 증거를 균형 있게 조율하여 환각 현상을 최소화하고 오류 내성 능력을 향상시키기 위해.

제안 방법

• EMR 내 엔티티에 대해 유형 기반 가중치를 할당하여, 진단이나 증상과 같은 임상적으로 중요한 용어를 우선적으로 식별함으로써 지식 그래프(KG) 검색 시 후보 질병의 정확도를 향상시킨다.
• 잔차 신경망 유사 메커니즘을 활용하여 LLM이 독립적으로 초기 진단을 생성한 후, 이 결과를 KG 검색 결과와 융합함으로써 외부 지식에 대한 과도한 의존도를 줄인다.
• 지식 그래프 내 의미적 경로를 기반으로 후보 질병을 재순서하는 경로 기반 재순서 알고리즘을 적용하여 진단 정밀도를 향상시킨다.
• 빈칸 채우기 방식의 프롬프트 템플릿을 사용하여 LLM이 오류 수정과 추론 과정을 보다 효과적으로 수행할 수 있도록 유도함으로써 추론 품질을 향상시킨다.
• 엔티티 연결 및 KG 검색 이전에 요약을 통해 EMR을 사전 처리하여 중복을 줄인다.
• LLM과 KG 출력을 후기 융합 전략을 통해 통합함으로써 LLM이 생성한 유용한 예측을 유지하면서도 KG 증거를 통해 오류를 수정한다.

실험 결과

연구 질문

• RQ1 엔티티 유형 기반 가중치 접근법이 EMR 진료에서 지식 그래프로부터 후보 질병 검색 정밀도를 향상시키는 데 효과적인가?
• RQ2 LLM과 KG 출력의 잔차 스타일 통합이 외부 지식에 대한 과도한 의존도를 줄이고 유용한 내부 LLM 예측을 유지하는 데 효과적인가?
• RQ3 기본 설정 대비 경로 기반 재순서 알고리즘이 진단 순위 성능 향상에 얼마나 기여하는가?
• RQ4 빈칸 채우기 프롬프트 템플릿이 임상 진료에서 LLM의 추론 능력과 오류 수정 능력을 향상시키는 데 얼마나 효과적인가?
• RQ5 제안된 프레임워크는 정보가 적거나 낮은 정보량을 가진 EMR 입력에서도 높은 성능을 유지할 수 있는가?

주요 결과

• medIKAL은 CMEMR 데이터셋에서 F1 스코어 36.93을 기록하여 기존 기준 모델들보다 진단 정확도에서 뚜렷한 우월성을 보였다.
• 제거 실험에서 엔티티 유형 가중치를 제거한 경우(F1: 34.63) 성능 저하가 발생하여, 이 가중치가 노이즈 필터링과 관련 엔티티 집중에 핵심적인 역할을 한다는 점을 입증했다.
• 잔차 통합 모듈을 제거한 경우(F1: 34.55) 성능 저하가 가장 커서, LLM과 KG 기여도를 균형 있게 조율하는 데 이 모듈의 중요성을 확인했다.
• 요약 모듈를 제거한 경우(F1: 36.39) 성능 저하가 발생하여, 중복 감소가 후속 작업 효율성을 향상시킨다는 점을 시사했다.
• medIKAL는 LLM 예측 중 78%를 유지하여 기준 모델들보다 유의미하게 높은 비율을 기록하여 KG 지식에 대한 과도한 의존도를 줄였음을 보여주었다.
• 사례 연구를 통해 medIKAL가 LLM의 환각 현상을 수정하고 누락된 지식을 보완하며, 특히 복잡한 진단 시나리오에서 추론을 안내하는 데 효과적이라는 점을 확인했다.