[논문 리뷰] DiReCT: Diagnostic Reasoning for Clinical Notes via Large Language Models

Bowen Wang, Jiuyang Chang외 7명|arXiv (Cornell University)|2024. 08. 04.

Topic Modeling인용 수 4

한 줄 요약

DiReCT는 임상 기록을 위한 진단 추론 데이터셋을 소개하며, 511건의 의사가 검토한 사례와 단계별 진단 추론, 해석 가능성 향상을 위한 진단 지식 그래프를 포함한다. 최신 대규모 언어 모델(Large Language Models, LLMs)을 평가한 결과, 모델과 인간의 진단 추론 간에 뚜렷한 성능 격차가 드러나며, 실제 임상 환경에서의 추론 능력 향상이 시급하다는 점을 시사한다.

ABSTRACT

Large language models (LLMs) have recently showcased remarkable capabilities, spanning a wide range of tasks and applications, including those in the medical domain. Models like GPT-4 excel in medical question answering but may face challenges in the lack of interpretability when handling complex tasks in real clinical settings. We thus introduce the diagnostic reasoning dataset for clinical notes (DiReCT), aiming at evaluating the reasoning ability and interpretability of LLMs compared to human doctors. It contains 511 clinical notes, each meticulously annotated by physicians, detailing the diagnostic reasoning process from observations in a clinical note to the final diagnosis. Additionally, a diagnostic knowledge graph is provided to offer essential knowledge for reasoning, which may not be covered in the training data of existing LLMs. Evaluations of leading LLMs on DiReCT bring out a significant gap between their reasoning ability and that of human doctors, highlighting the critical need for models that can reason effectively in real-world clinical scenarios.

연구 동기 및 목표

• 복잡한 실제 임상 진단 과제를 처리할 때 대규모 언어 모델(Large Language Models, LLMs)의 해석 가능성 부족 문제를 해결하기 위해.
• 의사가 수행하는 임상 기록에서 최종 진단에 이르는 전 과정의 진단 추론 과정을 포괄하는 벤치마크 데이터셋을 개발하기 위해.
• LLM 학습 데이터에 항상 포함되지 않는 영역 특화 지식을 지원하기 위해 임상 지침 기반의 진단 지식 그래프를 제공하기 위해.
• 다중 증거 기반, 단계별 임상 추론 환경에서 LLM 성능과 인간의 진단 추론 간 격차를 평가하기 위해.
• 구조화되고 설명 가능한 추론을 통해 더 투명하고 신뢰할 수 있는 LLM 기반 진단 보조 시스템 개발을 가능하게 하기 위해.

제안 방법

• DiReCT 데이터셋은 MIMIC-IV에서 확보한 511건의 임상 기록을 포함하며, 심장내과, 위장내과, 신경과, 호흡기내과, 내분비내과 분야의 25개 질환 카테고리에 해당한다.
• 각 임상 기록은 의사가 핵심 관찰 사항을 식별하고 최종 진단에 이르는 단계별 진단 추론 체인을 제공하도록 검토한다.
• 기존 임상 지침에서 유도된 진단 지식 그래프를 구축하여 질환 특화 진단 기준과 추론 경로를 인코딩한다.
• 관찰에서 기반 증거에 기반한 추론의 시퀀스로 진단를 분해하는 데 지식 그래프를 활용하는 AI 에이전트 베이스라인을 구현한다.
• 평가 프레임워크는 직접 예측과 사고의 사슬 생성을 통해 LLM의 진단 추론 성능을 측정하며, 인간 검토 결과와 비교한다.
• 데이터셋은 PhysioNet를 통해 공개되며, 재현성 및 향후 벤치마크를 지원하기 위해 GitHub에서 코드를 제공한다.

Figure 1: When a patient is admitted, an initial consultation takes place to collect subjective information. Subsequent observations may then require further examination to confirm the diagnosis.

실험 결과

연구 질문

• RQ1 복잡한 임상 기록을 제공받았을 때 최신 대규모 언어 모델(Large Language Models, LLMs)이 인간 의사의 단계별 진단 추론 과정을 얼마나 잘 재현할 수 있는가?
• RQ2 공식적인 진단 지식 그래프를 통합할 경우 LLM 기반 진단 추론의 해석 가능성과 정확도가 어느 정도 향상되는가?
• RQ3 다중 증거 기반, 실제 임상 환경에서의 시나리오에서 LLM과 인간 의사 간의 추론 성능 격차는 어느 정도인가?
• RQ4 LLM이 외부 지식 그래프를 효과적으로 활용하여 학습 데이터에 누락된 부분을 보완할 수 있는가?
• RQ5 임상 기록 작성 방식의 다양성이 LLM이 관련 진단 증거를 식별하는 능력에 어떤 영향을 미치는가?

주요 결과

• 현재 최신 대규모 언어 모델(Large Language Models, LLMs)은 복잡한 임상 기록에서 인간 의사의 진단 추론에 비해 뚜렷한 성능 격차를 보인다.
• 진단 지식 그래프의 사용은 추론 일관성을 향상시키며, 학습 데이터에 포함되지 않은 지침 기반 지식에 접근하는 데 모델을 지원한다.
• 지식 그래프를 활용하는 단순한 AI 에이전트 베이스라인은 제로샷 LLM 프롬프팅보다 인간 추론과 더 잘 일치함을 보이며, 구조화된 지식의 가치를 입증한다.
• DiReCT 데이터셋은 임상 기록의 어조나 표현 방식의 다양성으로 인해 표면적 텍스트 매칭만으로는 정확한 진단 추론이 불가능하다는 점을 드러낸다.
• 외부 지식을 제공받더라도 LLM이 다중 증거 추론과 순차적 추론을 처리하는 데에는 한계가 있음을 폭 드러내며, 이는 모델의 한계를 보여준다.
• 결과적으로, 임상 지침에 기반한 투명하고 다단계 진단 추론을 수행할 수 있는 모델의 필요성이 매우 중요하다는 점을 강조한다.

Figure 2: A part of $\mathcal{K}_{i}$ for $i$ being Acute Coronary Syndromes .