[논문 리뷰] DDXPlus: A New Dataset For Automatic Medical Diagnosis

Arsène Fansi Tchango, Rishab Goel외 3명|arXiv (Cornell University)|2022. 05. 18.

Machine Learning in Healthcare인용 수 8

한 줄 요약

DDXPlus는 구조화된 의료 기록을 포함한 130만 명의 환자로 구성된 대규모 합성 데이터셋을 소개한다. 이 데이터셋에는 이진, 범주형, 다중 선택 형식의 증상/전조 조건이 포함되어 있으며, 기저 진단 병변과 차별 진단 모두가 포함되어 있다. 본 연구는 차별 진단을 학습 신호로 사용하여 자동 진단 및 증상 탐지 시스템을 훈련할 경우 임상적 추론 효율성과 모델 해석성이 크게 향상됨을 입증한다. 기저 진단 병변만으로 훈련된 모델보다 성능이 뛰어나다.

ABSTRACT

There has been a rapidly growing interest in Automatic Symptom Detection (ASD) and Automatic Diagnosis (AD) systems in the machine learning research literature, aiming to assist doctors in telemedicine services. These systems are designed to interact with patients, collect evidence about their symptoms and relevant antecedents, and possibly make predictions about the underlying diseases. Doctors would review the interactions, including the evidence and the predictions, collect if necessary additional information from patients, before deciding on next steps. Despite recent progress in this area, an important piece of doctors' interactions with patients is missing in the design of these systems, namely the differential diagnosis. Its absence is largely due to the lack of datasets that include such information for models to train on. In this work, we present a large-scale synthetic dataset of roughly 1.3 million patients that includes a differential diagnosis, along with the ground truth pathology, symptoms and antecedents for each patient. Unlike existing datasets which only contain binary symptoms and antecedents, this dataset also contains categorical and multi-choice symptoms and antecedents useful for efficient data collection. Moreover, some symptoms are organized in a hierarchy, making it possible to design systems able to interact with patients in a logical way. As a proof-of-concept, we extend two existing AD and ASD systems to incorporate the differential diagnosis, and provide empirical evidence that using differentials as training signals is essential for the efficiency of such systems or for helping doctors better understand the reasoning of those systems.

연구 동기 및 목표

• 의료 AI 연구에서 차별 진단을 포함한 대규모 데이터셋의 부족을 해결하기 위해.
• 차별 진단을 학습 신호로 활용하여 자동 진단(AD) 및 자동 증상 탐지(ASD) 시스템의 효율성과 해석성 향상을 위해.
• AI 기반 환자 상호작용에서 더 임상적으로 현실적인 계층적이고 다중 모odal한 데이터 수집을 가능하게 하기 위해.
• 실제 임상적 추론 과정을 반영한 AD/ASD 시스템의 훈련 및 평가를 위한 벤치마크를 제공하기 위해.
• 차별 진단을 통해 진단 불확실성을 모델링하여 신뢰할 수 있고 의사가 검토할 수 있는 의료 AI 시스템 개발을 지원하기 위해.

제안 방법

• 의료 지식 기반 및 상용 AD 시스템을 활용해 전용 지식 기반을 기반으로 합성 생성된 데이터셋으로 임상적으로 타당성을 확보한다.
• 49종의 병변, 110종의 증상, 113종의 전조 조건을 포함하며, 증상 및 전조 조건은 이진, 범주형, 다중 선택 형식으로 분류되어 효율적인 데이터 수집을 지원한다.
• 증상은 계층적 구조로 구성되어 있어 AI 에이전트에서 논리적이고 단계적인 질문을 수행할 수 있도록 한다.
• 각 환자별로 진단 가능한 질환 목록을 기반으로 실제 임상적 추론을 시뮬레이션하는 차별 진단을 생성한다.
• 기존의 두 개의 AD/ASD 시스템(AARLC 및 BASD)을 확장하여 훈련 중에 차별 진단 신호를 통합한다.
• 증거 수집의 완전성, 차별 진단의 품질, 임상적 추론과의 일치도를 기준으로 모델 성능을 평가한다.

실험 결과

연구 질문

• RQ1 차별 진단을 기반으로 AD 및 ASD 시스템을 훈련할 경우, 증거 수집의 품질과 완전성이 향상되는가?
• RQ2 차별 진단을 학습 신호로 통합할 경우, 모델의 해석성과 임상 워크플로우와의 일치도는 어떻게 영향을 받는가?
• RQ3 계층적 및 다중 선택 형식의 증상 사용이 AI 기반 의료 인터뷰에서 증상 확보의 효율성에 기여하는가?
• RQ4 기저 진단 병변만으로 훈련된 모델과 비교해, 차별 진단으로 훈련된 모델의 진단 추론 능력과 커버리지 수준은 어떠한가?
• RQ5 차별 진단을 포함한 합성 데이터셋은 임상적 AI 시스템 발전을 위한 타당한 벤치마크가 될 수 있는가?

주요 결과

• 차별 진단으로 훈련된 모델(BASD 등)은 기저 진단 병변만으로 훈련된 모델보다 더 포괄적이고 임상적으로 관련성이 높은 차별 진단을 도출했다.
• 차별 진단 신호를 통합한 AARLC 모델은 더 넓은 범위의 증거를 수집하고 더 많은 잠재적 병변을 탐색하여 진단 커버리지가 향상되었다.
• 기저 진단 병변만으로 훈련된 AARLC 모델은 불완전한 차별 진단을 도출하고 질문 수를 줄여 진단 신뢰도를 저하시켰다.
• 차별 진단으로 훈련된 BASD 모델는 충분한 증거를 확보했지만 특정도가 낮아 보완적인 학습 신호가 필요함을 시사했다.
• 차별 진단과 기저 진단 병변을 모두 활용한 병합 훈련이 가장 우수한 성능을 보였으며, 증거 수집의 광범위성과 특정도의 균형을 잘 이룩했다.
• 본 연구는 차별 진단이 효율적이고 신뢰할 수 있으며 임상적으로 일치하는 의료 진단 AI 시스템을 구축하는 데 필수적임을 확인했다.