[논문 리뷰] Large Language Models in Medical Term Classification and Unexpected Misalignment Between Response and Reasoning

Xiaodan Zhang, Sandeep Vemulapalli외 12명|arXiv (Cornell University)|2023. 12. 19.

Machine Learning in Healthcare인용 수 4

한 줄 요약

이 연구는 MIMIC-IV v2.2 데이터셋을 사용하여 임상 퇴원 요약에서 경도인지장애(MCI)를 분류하는 데 있어 GPT-4, GPT-3.5, Falcon, LLaMA 2와 같은 최신 대규모 언어모델(LLM)의 성능을 평가한다. GPT-4는 강력한 추론 능력과 해석 가능성으로 뛰어나지만, 추론 과정과 최종 응답 사이에 심각한 괴리가 발생하여 임상 현장 적용에 있어 신뢰성에 치명적인 격차를 드러낸다. 이는 높은 성능에도 불구하고 여전히 문제가 된다.

ABSTRACT

This study assesses the ability of state-of-the-art large language models (LLMs) including GPT-3.5, GPT-4, Falcon, and LLaMA 2 to identify patients with mild cognitive impairment (MCI) from discharge summaries and examines instances where the models' responses were misaligned with their reasoning. Utilizing the MIMIC-IV v2.2 database, we focused on a cohort aged 65 and older, verifying MCI diagnoses against ICD codes and expert evaluations. The data was partitioned into training, validation, and testing sets in a 7:2:1 ratio for model fine-tuning and evaluation, with an additional metastatic cancer dataset from MIMIC III used to further assess reasoning consistency. GPT-4 demonstrated superior interpretative capabilities, particularly in response to complex prompts, yet displayed notable response-reasoning inconsistencies. In contrast, open-source models like Falcon and LLaMA 2 achieved high accuracy but lacked explanatory reasoning, underscoring the necessity for further research to optimize both performance and interpretability. The study emphasizes the significance of prompt engineering and the need for further exploration into the unexpected reasoning-response misalignment observed in GPT-4. The results underscore the promise of incorporating LLMs into healthcare diagnostics, contingent upon methodological advancements to ensure accuracy and clinical coherence of AI-generated outputs, thereby improving the trustworthiness of LLMs for medical decision-making.

연구 동기 및 목표

• 임상 퇴원 요약에서 경도인지장애(MCI)를 식별하는 데 있어 최신 LLM의 성능을 평가하는 것.
• LLM이 생성한 추론 과정과 최종 분류 응답 간 일관성 여부를 조사하는 것.
• 특허 모델(GPT-4 등)과 오픈소스 모델(Falcon, LLaMA 2 등) 간 정확성과 해석 가능성의 비교.
• 프롬프트 엔지니어링이 모델의 행동과 임상적 일관성에 미치는 영향 평가.
• 신뢰할 수 있는 의료 진단을 위한 LLM 배포 시 발생하는 방법론적 과제 규명.

제안 방법

• 65세 이상 환자에서 ICD 코드 및 전문가 검토를 통해 확진된 MCI를 가진 환자 데이터를 대상으로 MIMIC-IV v2.2 데이터의 7:2:1 훈련/검증/테스트 분할을 기반으로 LLM을 피팅.
• 모델이 세부적인 추론을 유도하기 위해 복잡하고 다단계적인 프롬프트를 사용.
• 골드 표준 MCI 진단과 비교하여 모델의 응답에서 추론-응답 괴리 여부를 탐지.
• MIMIC-III에서 확보한 전이성 암 데이터셋을 활용해 다양한 영역에서 추론 일관성 테스트를 위한 아블레이션 연구 수행.
• 정확성과 해석 가능성 측면에서 특허 모델(GPT-4, GPT-3.5)과 오픈소스 모델(Falcon, LLaMA 2) 간 성능 비교.
• 정성적 및 정량적 분석을 통해 추론 단계와 최종 예측 간 일치도 측정.

실험 결과

연구 질문

• RQ1 LLM은 임상 퇴원 요약에서 경도인지장애를 얼마나 정확하게 분류할 수 있는가?
• RQ2 LLM의 추론 과정은 그들의 최종 분류 응답과 어느 정도 일치하는가?
• RQ3 GPT-4와 같은 특허 모델은 Falcon, LLaMA 2와 같은 오픈소스 모델에 비해 정확성과 해석 가능성 측면에서 어떻게 비교되는가?
• RQ4 프롬프트 엔지니어링은 LLM이 생성하는 추론의 일관성과 임상적 일관성에 향상 효과를 주는가?
• RQ5 경도인지장애와 전이성 암과 같은 다양한 의료 상태 간에 추론 일관성은 얼마나 일반화 가능한가?

주요 결과

• GPT-4는 복잡한 프롬프트 환경에서 뛰어난 해석 능력을 보였지만, 추론과 최종 응답 사이에 뚜렷한 괴리가 발생했다.
• Falcon, LLaMA 2와 같은 오픈소스 모델은 높은 분류 정확도를 달성했지만, 세부적이고 일관된 추론이 부족하여 임상적 신뢰도가 떨어졌다.
• 강력한 성능에도 불구하고 GPT-4의 추론은 종종 최종 예측을 논리적으로 뒷받침하지 못했으며, 이는 임상 적용에 있어 심각한 신뢰성 격차를 드러냈다.
• 연구는 GPT-4에서 복잡하거나 모호한 임상 프롬프트 상황에서 반복적으로 추론-응답 괴리 현상을 발견했다.
• 전이성 암 서브셋에서의 성능 평가 결과, 추론 일관성 문제는 다양한 의료 조건 간에 지속되었으며, 이는 체계적인 문제임을 시사했다.
• 결과적으로 높은 정확도만으로는 임상 현장 적용이 충분하지 않으며, 추론의 일관성과 해석 가능성은 의료 분야에서 신뢰할 수 있는 AI를 구현하기 위해 필수적이다.