[논문 리뷰] Towards Trustworthy Automatic Diagnosis Systems by Emulating Doctors' Reasoning with Deep Reinforcement Learning

Arsène Fansi Tchango, Rishab Goel외 4명|arXiv (Cornell University)|2022. 10. 13.

Machine Learning in Healthcare인용 수 9

한 줄 요약

이 논문은 환자 상호작용 중에 심각한 질환을 우선시하고 동적 차별진단을 생성함으로써 의사의 임상적 추론을 모방하는 딥 강화학습 프레임워크를 제안한다. 탐색-확인 동역학과 중증도 인지 질문 전략을 명시적으로 모델링함으로써 상호작용 품질과 신뢰성을 향상시켜 기존 방법에 비해 해석 가능성과 임상적 타당성을 높이며 경쟁 가능한 병리 예측 정확도를 달성한다.

ABSTRACT

The automation of the medical evidence acquisition and diagnosis process has recently attracted increasing attention in order to reduce the workload of doctors and democratize access to medical care. However, most works proposed in the machine learning literature focus solely on improving the prediction accuracy of a patient's pathology. We argue that this objective is insufficient to ensure doctors' acceptability of such systems. In their initial interaction with patients, doctors do not only focus on identifying the pathology a patient is suffering from; they instead generate a differential diagnosis (in the form of a short list of plausible diseases) because the medical evidence collected from patients is often insufficient to establish a final diagnosis. Moreover, doctors explicitly explore severe pathologies before potentially ruling them out from the differential, especially in acute care settings. Finally, for doctors to trust a system's recommendations, they need to understand how the gathered evidences led to the predicted diseases. In particular, interactions between a system and a patient need to emulate the reasoning of doctors. We therefore propose to model the evidence acquisition and automatic diagnosis tasks using a deep reinforcement learning framework that considers three essential aspects of a doctor's reasoning, namely generating a differential diagnosis using an exploration-confirmation approach while prioritizing severe pathologies. We propose metrics for evaluating interaction quality based on these three aspects. We show that our approach performs better than existing models while maintaining competitive pathology prediction accuracy.

연구 동기 및 목표

• 기존 자동 진료 시스템이 예측 정확도 최적화에만 집중함으로써 임상적 타당성과 해석 가능성에 빈도를 보이는 문제를 해결하기 위해.
• 의료 기록 청취 과정을 더 정확하게 모델링하기 위해 의사의 차별진단 사용과 심각한 병변 우선순위 설정 방식을 모방하기 위해.
• 증거에서 진단에 이르는 명확한 추론 경로를 제공함으로써 상호작용이 투명하고 추적 가능하도록 보장함으로써 시스템의 신뢰성을 향상시키기 위해.
• 최종 예측 정확도 외에도 임상적 추론 원칙을 기반으로 상호작용 품질을 평가할 수 있는 새로운 평가 지표를 개발하기 위해.
• 강화학습 에이전트가 실제 임상 의사의 의사결정 방식을 반영하는 고품질의 인간과 유사한 진료 상호작용을 생성할 수 있음을 입증하기 위해.

제안 방법

• 시스템은 진단 에이전트와 환자 간의 상호작용을 시뮬레이션하기 위해 딥 강화학습 프레임워크를 사용하며, 에이전트는 증거를 확보하기 위해 질문을 선택한다.
• 에이전트는 상호작용 전반에 걸쳐 동적 차별진단 목록을 유지하고 업데이트하며, 변화하는 임상적 추론를 반영한다.
• 행동 공간은 질문 선택과 차별진단 생성을 포함하며, 보상 함수는 심각한 질환을 먼저 배제하도록 우선순위를 두도록 설계된다.
• 보상 함수는 최종 진단 정확도, 심각한 병변 우선순위 설정, 차별진단 과정의 일관성의 세 가지 구성요소를 포함한다.
• 상태 표현은 환자의 증상, 위험 요인, 현재의 차별진단을 포함하며, 정책 기반 강화학습 방법을 사용해 엔드 투 엔드로 모델을 훈련시킨다.
• 사용자가 각 증거가 어떻게 변화하는 차별진단에 기여했는지 추적할 수 있도록 하여 프레임워크가 해석 가능성을 지원한다.

실험 결과

연구 질문

• RQ1 강화학습 에이전트가 인간 의사가 사용하는 탐색-확인 프레임워크를 반영하는 진료 상호작용을 생성할 수 있는가?
• RQ2 질문 과정에서 심각한 병변을 우선순위로 삼는 것이 임상적 신뢰성과 진료 상호작용의 품질을 향상시키는가?
• RQ3 새로운 증거가 들어올수록 의미 있게 변화하는 동적 차별진단 목록을 유지할 수 있는가, 아니면 단일 최종 병변을 예측하는 방식인가?
• RQ4 제안된 상호작용 품질 평가 지표가 임상적 타당성과 해석 가능성의 측면을 얼마나 잘 반영하는가?
• RQ5 모델이 경쟁 가능한 병리 예측 정확도를 달성하면서도 진단 추론 과정의 품질을 향상시킬 수 있는가?

주요 결과

• 제안된 방법은 동적 차별진단 목록의 진화를 통해 기존 모델에 비해 더 임상적으로 타당하고 해석 가능한 진료 상호작용을 생성한다.
• 모델은 질문 전략에서 심각한 병변을 효과적으로 우선순위로 삼아, 상호작용 초반에 고위험 상태를 지속적으로 탐색한다.
• 시스템은 경쟁 가능한 병리 예측 정확도를 달성하였으며, 최종 진단 목록이 ['급성 운동성 반응 (심각)']: 0.627, '미오파티아 그라비스': 0.373로 나타나 임상 결과와 강한 일치를 보였다.
• 중증도 인지 보상 함수의 사용은 특히 급성 치료 상황에서 더 효과적이고 안전한 진료 경로를 이끌어냈다.
• 제안된 평가 지표는 기존의 정확도 중심 기준에서 간과하는 임상적 추론의 측면을 효과적으로 포착하였다.
• 모델이 상호작용 전반에 걸쳐 차별진단을 유지하고 개선하는 능력은 단일 병변 예측 모델에 비해 상당한 향상이다.