[논문 리뷰] Towards Conversational Diagnostic AI

Tao Tu, Anil Palepu외 23명|arXiv (Cornell University)|2024. 01. 11.

Clinical Reasoning and Diagnostic Skills인용 수 100

한 줄 요약

AMIE는 진단 대화를 위해 최적화된 LLM 기반 시스템으로 자체 놀이(self-play) 시뮬레이션 학습과 사고 연쇄(chain-of-reasoning) 추론 전략을 활용하며, 맹검된 원격 OSCE 연구에서 대부분의 평가 축에서 일차 진료 의사들보다 우수한 성과를 보였습니다.

ABSTRACT

At the heart of medicine lies the physician-patient dialogue, where skillful history-taking paves the way for accurate diagnosis, effective management, and enduring trust. Artificial Intelligence (AI) systems capable of diagnostic dialogue could increase accessibility, consistency, and quality of care. However, approximating clinicians' expertise is an outstanding grand challenge. Here, we introduce AMIE (Articulate Medical Intelligence Explorer), a Large Language Model (LLM) based AI system optimized for diagnostic dialogue. AMIE uses a novel self-play based simulated environment with automated feedback mechanisms for scaling learning across diverse disease conditions, specialties, and contexts. We designed a framework for evaluating clinically-meaningful axes of performance including history-taking, diagnostic accuracy, management reasoning, communication skills, and empathy. We compared AMIE's performance to that of primary care physicians (PCPs) in a randomized, double-blind crossover study of text-based consultations with validated patient actors in the style of an Objective Structured Clinical Examination (OSCE). The study included 149 case scenarios from clinical providers in Canada, the UK, and India, 20 PCPs for comparison with AMIE, and evaluations by specialist physicians and patient actors. AMIE demonstrated greater diagnostic accuracy and superior performance on 28 of 32 axes according to specialist physicians and 24 of 26 axes according to patient actors. Our research has several limitations and should be interpreted with appropriate caution. Clinicians were limited to unfamiliar synchronous text-chat which permits large-scale LLM-patient interactions but is not representative of usual clinical practice. While further research is required before AMIE could be translated to real-world settings, the results represent a milestone towards conversational diagnostic AI.

연구 동기 및 목표

• 의학 분야에서 AI를 통해 진단 대화의 접근성, 일관성, 품질을 촉진한다.
• 시뮬레이션 환경에서 자기 놀이(self-play)를 통해 다양한 질병과 맥락에 걸친 학습을 확대한다.
• 역사 수집, 진단 추론, 관리, 의사소통, 공감을 포착하는 평가 프레임워크를 개발하고 검증한다.

제안 방법

• 현실 세계 데이터와 시뮬레이션 데이터를 사용하여 기본 LLM(PaLM-2)를 의료 대화에 맞게 미세 조정한다.
• 지속 학습을 위한 내부 루프와 외부 루프를 갖춘 자기 놀이 시뮬레이션 진단 대화 환경을 만든다.
• 대화 기록에 응답을 기초시키기 위한 추론 시점의 사고 사슬(chain-of-reasoning) 프로세스를 구현한다.
• 피험담 기반의 시뮬레이션 대화를 세 에이전트 구성(환자, 의사, 진행자)으로 디자인하고 피드백을 위한 비평가를 추가한다.
• 환자 및 의사 역할, 의학 QA, 추론, EHR 노트 요약에 대한 지시 학습을 수행한다.
• 검증된 환자 연기를 가진 149건의 사례에서 AMIE와 PCPs를 비교하는 맹검된 원격 OSCE를 통해 평가하고, 여기에 전문의 평가와 설문조사를 추가한다.

실험 결과

연구 질문

• RQ1 다중 질환 진단 대화 설정에서 AMIE가 일차 진료 의사들과 동등하거나 그보다 높은 진단 정확도를 달성할 수 있는가?
• RQ2 역사 수집, 진단 추론, 관리 계획, 의사소통, 공감 축에서 AMIE의 성능은 어떠한가?
• RQ3 텍스트 채팅 기반 진단 상담의 한계는 무엇이며, 실제 임상 번역을 위해 필요한 단계는 무엇인가?

주요 결과

• AMIE는 OSCE 연구에서 PCPs보다 더 높은 진단 정확도를 보였다.
• 전문의 관점에서 32개 축 중 28개에서 PCPs를 능가했다.
• 환자 연기자 관점에서 26개 축 중 24개에서 PCPs를 능가했다.
• 대부분의 평가 축에서 PCPs보다 우수하다고 평가되었고, 나머지 축에서는 비열등했다.
• 평가에는 캐나다, 영국, 인도에서 온 149건의 사례가 사용되었고, 20명의 PCP와 검증된 환자 연기가 포함되었다.
• AMIE는 각 대화 턴 동안 응답을 점진적으로 다듬기 위해 사고 사슬(chain-of-reasoning) 전략을 사용했다.