[논문 리뷰] Dr. Assistant: Enhancing Clinical Diagnostic Inquiry via Structured Diagnostic Reasoning Data and Reinforcement Learning

Yue Guo, Fanfu Wang외 10명|arXiv (Cornell University)|2026. 01. 20.

Clinical Reasoning and Diagnostic Skills인용 수 0

한 줄 요약

Dr. Assistant는 임상 진단 추론 데이터(CDRD) 형식과 두 단계의 SFT+RL 학습 파이프라인을 도입하여 임상 진단 추론 및 다회 문의를 개선하고, 오픈소스 모델과 강력히 비교되는 성능을 보이며 GPT-5와 경쟁력 있는 결과를 얻는다.

ABSTRACT

Clinical Decision Support Systems (CDSSs) provide reasoning and inquiry guidance for physicians, yet they face notable challenges, including high maintenance costs and low generalization capability. Recently, Large Language Models (LLMs) have been widely adopted in healthcare due to their extensive knowledge reserves, retrieval, and communication capabilities. While LLMs show promise and excel at medical benchmarks, their diagnostic reasoning and inquiry skills are constrained. To mitigate this issue, we propose (1) Clinical Diagnostic Reasoning Data (CDRD) structure to capture abstract clinical reasoning logic, and a pipeline for its construction, and (2) the Dr. Assistant, a clinical diagnostic model equipped with clinical reasoning and inquiry skills. Its training involves a two-stage process: SFT, followed by RL with a tailored reward function. We also introduce a benchmark to evaluate both diagnostic reasoning and inquiry. Our experiments demonstrate that the Dr. Assistant outperforms open-source models and achieves competitive performance to closed-source models, providing an effective solution for clinical diagnostic inquiry guidance.

연구 동기 및 목표

• 구조화된 데이터 형식(CDRD)을 통해 추상적 임상 진단 추론 로직을 캡처한다.
• 진단 추론 및 문의 기술을 구축하기 위한 두 단계의 학습 파이프라인(SFT 이후 RL)을 개발한다.
• CDSS 맥락에서 진단 추론 및 임상 문의 평가를 위한 벤치마크를 만든다.
• 벤치마크에서 Dr. Assistant가 오픈소스 모델을 능가하고 폐쇄형 모델에 필적하는 성과를 보임을 입증한다.

제안 방법

• CDRD를 핵심 증상(S), 진단 근거(E), 감별 진단(D)을 나타내는 트리플-튜플로 정의한다.
• 임상 가이드라인에서 LLM 합성 및 의사 정제를 통해 CDRD를 구축하는 3단계 파이프라인을 구성한다.
• 답안 형성 및 질문 합성을 통해 CDRD에서 Supervisied Fine-Tuning(SFT)을 위한 QA 데이터를 생성한다.
• CDRD 및 환자 프로필에 기초된 다회 차 대화를 지향하는 이중 에이전트(의사와 환자) 대화를 통해 RL용 다회 차 문의 데이터를 생성한다.
• 임상 추론, 문의 및 CDRD에 대한 충실도를 위한 복합 보상(R_div 및 R_comp)을 사용하여 P_SFT에서 Dr. Assistant를 SFT로 학습한 후 RL로 학습한다.
• 242명의 환자 프로필과 147회의 문의 라운드가 포함된 ICD-10 기반의 추론 벤치마크를 사용해 평가한다.

실험 결과

연구 질문

• RQ1 구조화된 진단 추론 데이터 형식(CDRD)이 임상 가이드라인과의 추상적 추론 정렬을 개선하는가?
• RQ2 두 단계 SFT+RL 학습 체계가 기초 모델 대비 진단 문의 품질과 추론 충실성을 높이는가?
• RQ3 Dr. Assistant가 오픈소스 및 폐쇄형 LLM에 비해 동적 진단 추론 및 문의 벤치마크에서 어떤 성과를 보이는가?
• RQ4 CDRD에 대한 충실도 페널티가 출력 품질 및 임상 추론의 안전성에 어떤 영향을 미치는가?

주요 결과

• Dr. Assistant가 평가된 모델 중에서 가장 높은 ICD-Recall을 달성하여 여러 오픈소스 의학 모델을 능가하고 폐쇄형 GPT-5 성능에 근접한 결과를 보인다.
• ICD-Recall 벤치마킹에서 Dr. Assistant가 HuatuoGPT-o1-72B 대비 약 13.59% 상대 증가를 보인다.
• Dr. Assistant는 ICD-Recall 지표에서 여러 오픈소스 모델과 대등하거나 우수한 성과를 보이며 GPT-5에 근접한다.
• 의사 평가자들이 오픈소스 baselines 대비 Dr. Assistant의 문의에 더 높은 만족도를 보고하며 Med42-v2-8B 및 HuatuoGPT-o1-72B에 비해 현저한 개선을 보인다.
• 절제 연구(Ablation study)에 따르면 SFT와 RL 모두 기여하며 RL이 상대적 성능 향상에 가장 큰 기여를 하고, R_div 충실도 항도 출력 품질을 의미 있게 개선한다.