[논문 리뷰] Learning from the experts: From expert systems to machine-learned diagnosis models

Murali Ravuri, Anitha Kannan외 2명|arXiv (Cornell University)|2018. 04. 21.

Machine Learning in Healthcare참고 문헌 21인용 수 15

한 줄 요약

이 논문은 의료 진단을 위한 딥러닝 모델의 합성 학습 데이터를 생성하기 위해 전문가 시스템을 생성 모델로 활용하는 하이브리드 접근법을 제안한다. 이 합성 데이터와 실제 전자 의무 기록(EHR) 데이터를 함께 훈련시킴으로써, 전문가 시스템 자체보다 높은 정확도와 강건성을 확보한 모델을 도출할 수 있었으며, 새로운 질병에 대한 유연한 확장성과 실제 임상 데이터와의 통합도 가능해졌다.

ABSTRACT

Expert diagnostic support systems have been extensively studied. The practical applications of these systems in real-world scenarios have been somewhat limited due to well-understood shortcomings, such as lack of extensibility. More recently, machine-learned models for medical diagnosis have gained momentum, since they can learn and generalize patterns found in very large datasets like electronic health records. These models also have shortcomings - in particular, there is no easy way to incorporate prior knowledge from existing literature or experts. In this paper, we present a method to merge both approaches by using expert systems as generative models that create simulated data on which models can be learned. We demonstrate that such a learned model not only preserves the original properties of the expert systems but also addresses some of their limitations. Furthermore, we show how this approach can also be used as the starting point to combine expert knowledge with knowledge extracted from other data sources, such as electronic health records.

연구 동기 및 목표

• 기존 전문가 시스템의 확장성 부족과 유지보수 비용이 높은 등의 한계를 해결하기 위해.
• 순수 데이터 기반 머신러닝 모델에 이전 의료 지식을 통합하는 데 도전하는 데에.
• 전문가 시스템의 신뢰성을 유지하면서도 머신러닝을 통해 유연성을 향상시키는 방법을 개발하기 위해.
• 실제 임상 EHR 데이터와 전문가가 생성한 합성 데이터를 통합하여 보다 향상된 진단 모델링을 가능하게 하기 위해.
• 전문가 시스템 전용 또는 순수 머신러닝 모델보다 전문가 시스템으로 시뮬레이션한 데이터와 실제 EHR 데이터를 함께 훈련한 하이브리드 모델이 우수한 성능을 보임을 입증하기 위해.

제안 방법

• 환자 사례(증상, 징후, 진단 포함)를 시뮬레이션하기 위해 기존 전문가 시스템(Sim-250)을 생성 모델로 활용.
• MIMIC-III EHR 데이터에서 250개의 질병과 7개의 신규 질병을 기반으로 일관된 발견-질병 매핑을 보장하는 합성 데이터셋 생성.
• MIMIC-III에서의 전문가 시뮬레이션 사례와 실제 EHR 사례를 조합한 데이터셋을 기반으로 딥 네ural 네트워크(DNN)를 처음부터 훈련.
• 합성 및 실제 세계 테스트 세트에서의 모델 성능을 검증하며, MIMIC-III 사례에 대한 질병별 평가도 수행.
• 데이터 노이즈에 대한 강건성을 평가하기 위해, 예를 들어 조산과 경막하 출혈과 같은 특정 질병의 부분집합으로 재훈련하여 추론 실험 수행.
• 성능 비교를 위해 top-1 및 top-3 정확도를 평가 지표로 사용하여 다양한 훈련 및 테스트 구성 간 성능를 비교.

실험 결과

연구 질문

• RQ1 전문가 시스템가 학습된 진단 모델을 훈련하기 위한 데이터 생성기로 효과적으로 재사용될 수 있는가?
• RQ2 합성 전문가 생성 데이터와 실제 EHR 데이터를 조합함으로써 진단 모델의 정확도와 강건성이 향상되는가?
• RQ3 원래 전문가 시스템에 포함되지 않은 새로운 질병에 대해 하이브리드 모델이 일반화 가능한가?
• RQ4 노이즈가 있거나 임상적 표현형이 다양하게 분포된 EHR 데이터로 훈련했을 때 모델 성능는 어떻게 변하는가?
• RQ5 하이브리드 접근법이 전문가 시스템의 신뢰성을 유지하면서도 확장성과 유연성을 어떻게 확보할 수 있는가?

주요 결과

• 전문가 시뮬레이션 데이터와 MIMIC-III EHR 데이터를 조합하여 훈련한 모델은 7개의 신규 질병에 대해 MIMIC-III 테스트 세트에서 top-1 정확도 0.63을 기록했으며, 기준 전문가 시스템보다 유의미하게 높은 성능를 보였다.
• 조산과 경담하 출혈과 같은 두 가지 질병에 대해 데이터 일관성을 향상시킨 후 재훈련한 결과, 해당 질병에 대해 MIMIC-III 테스트 세트에서 top-1 정확도 0.99를 달성했다.
• 기존 7개 질병 테스트 세트에서의 성능 저하 원인은 MIMIC-III 데이터셋 내에서 발견과 진단 간의 노이즈가 있는 매핑으로 확인되었으며, 이는 대상 재훈련를 통해 검증되었다.
• 하이브리드 모델은 데이터 노이즈에 강건성을 보였고, 특히 EHR 데이터의 임상적 표현형 변형과 일치하도록 질병 프로파일을 정밀하게 조정함으로써 일반화 능력이 향상되었다.
• 원래 전문가 시스템의 특성을 유지하면서도 새로운 질병에 대한 확장성과 실제 세계 데이터 소스와의 통합이 성공적으로 가능해졌다.
• 모델은 합성 및 실제 세계 테스트 세트 모두에서 높은 정확도를 유지하여 강력한 일반화 능력과 강건성을 입증했다.