[논문 리뷰] Large Language Models are Clinical Reasoners: Reasoning-Aware Diagnosis Framework with Prompt-Generated Rationales

Taeyoon Kwon, Kai Tzu-iunn Ong외 8명|arXiv (Cornell University)|2023. 12. 12.

Topic Modeling인용 수 5

한 줄 요약

이 논문은 대량의 언어 모델(Large Language Models, LLMs)을 활용하여 알츠하이머병 진단을 위한 임상적 추론 과정(이하 임상적 사고 체인, Clinical CoT)을 생성하는 추론 인식 진단 프레임워크를 제안한다. 환자 데이터를 바탕으로 단계별 추론을 유도하는 프롬프트를 통해 LLM이 임상적 추론 과정을 생성함으로써, 진단 정확도를 향상시키고 인간과 유사한 추론 과정을 생성하며, 시간과 노동력 효율적인 방식으로 임상적 추론을 효과적으로 모델링할 수 있음을 입증한다.

ABSTRACT

Machine reasoning has made great progress in recent years owing to large language models (LLMs). In the clinical domain, however, most NLP-driven projects mainly focus on clinical classification or reading comprehension, and under-explore clinical reasoning for disease diagnosis due to the expensive rationale annotation with clinicians. In this work, we present a "reasoning-aware" diagnosis framework that rationalizes the diagnostic process via prompt-based learning in a time- and labor-efficient manner, and learns to reason over the prompt-generated rationales. Specifically, we address the clinical reasoning for disease diagnosis, where the LLM generates diagnostic rationales providing its insight on presented patient data and the reasoning path towards the diagnosis, namely Clinical Chain-of-Thought (Clinical CoT). We empirically demonstrate LLMs/LMs' ability of clinical reasoning via extensive experiments and analyses on both rationale generation and disease diagnosis in various settings. We further propose a novel set of criteria for evaluating machine-generated rationales' potential for real-world clinical settings, facilitating and benefiting future research in this area.

연구 동기 및 목표

• 기존의 자연어 처리 및 딥 러닝 기반 질병 진단 접근법에서 임상적 추론의 부재 문제를 해결하기 위해, 진단을 단순한 분류 작업으로 간주하는 경향이 있음.
• 임상적 추론 과정의 레이블링이 비용이 많이 들고 시간이 오래 걸리는 문제를 해결하기 위해, 프롬프트 기반 학습을 활용해 LLM을 통해 고품질의 임상적 추론 과정을 생성함.
• 실제 임상 환경에 적용 가능한 실용적 프레임워크를 개발하기 위해 추론 과정 생성, 소수의 예시 기반 진단, 지식 정복을 통합함.
• 기계가 생성한 추론 과정의 임상적 관련성과 추론 품질을 평가하기 위한 새로운 평가 기준 수립.
• LLM이 인간과 유사한 임상적 추론 과정을 모방할 수 있음을 입증함으로써, 인공지능 기반 의료 진단에서 신뢰성과 해석 가능성 향상

제안 방법

• 임상적 추론을 임상적 사고 체인(Clinical CoT)으로 정의하여, LLM이 환자 데이터를 바탕으로 자연어 형태의 추론 과정을 생성하도록 유도함.
• 새로운 환자 사례에 대해 추론 경로를 생성하도록 유도하기 위해 두 개의 예시 추론 과정을 포함한 소수의 예시 프롬프트를 사용함.
• LLM의 추론 및 진단 능력을 더 작은, 더 쉽게 배포 가능한 모델로 이전하기 위해 지식 정복을 통한 학생 모델 훈련 수행.
• 추론 과정 생성과 진단을 순차적으로 생성하는 자동회귀 생성 파이프라인에 통합함.
• 기계가 생성한 추론 과정을 평가하기 위한 새로운 평가 기준을 설계하여 임상적 정확도, 논리적 일관성, 전문가 추론과의 일치도를 평가함.
• 다양한 모odal 데이터(MRI, 인지 평가 점수, APOE 상태)를 사용한 알츠하이머병 진단용 테스트베드 데이터셋에 프레임워크를 적용하고 기존의 임상 지식을 활용함.

실험 결과

연구 질문

• RQ1 LLM은 환자 데이터에 대한 다단계 추론을 반영하는 임상적으로 의미 있는 추론 과정을 생성할 수 있는가?
• RQ2 프롬프트 기반 추론 과정 생성을 통해 표준 분류 기반 접근법에 비해 진단 성능 향상이 이루어지는가?
• RQ3 정련된 학생 모델이 임상 환경에서 LLM의 추론 능력과 진단 정확도를 어느 정도 재현할 수 있는가?
• RQ4 LLM이 생성한 추론 과정의 품질과 임상적 관련성은 인간 전문가의 것과 비교해 어떻게 평가되며, 이를 신뢰성 있게 평가할 수 있는 기준은 무엇인가?
• RQ5 제안된 프레임워크는 최소한의 인간 레이블링된 추론 과정을 가진 실세계 임상 진단 과제에 효과적으로 적용될 수 있는가?

주요 결과

• LLM은 환자 데이터에 대한 다단계 추론을 반영하는 임상적으로 관련성이 있는 추론 과정을 생성할 수 있으며, 잘못 진단된 케이스의 75%에서조차도 의학적으로 올바른 추론 과정을 유지함.
• 표준 분류 기반 베이스라인 대비 추론 인식 진단 프레임워크가 특히 소수의 예시 설정에서 진단 성능을 크게 향상시킴.
• 정련된 학생 모델은 높은 진단 정확도를 달성하면서도 추론 투명성을 유지하여 임상 환경에서의 효율적 배포 가능함.
• 인간 평가 결과, 생성된 추론 과정이 전문가가 사용하는 임상적 추론 패턴과 타당하고 일관되게 인식됨.
• 제안된 평가 기준은 고품질 추론 과정과 저품질 추론 과정을 효과적으로 구분하며, 향후 해석 가능한 임상 AI 분야의 연구 기반 마련.
• 적절한 프롬프트를 통해 LLM이 적절히 임상적 추론을 수행할 수 있음을 입증함으로써, 진단 의사결정 지원 분야에 광범위하게 적용 가능할 잠재력이 있음.