[논문 리뷰] Evaluating Progress on Machine Learning for Longitudinal Electronic Healthcare Data

David Bellamy, Leo Anthony Celi외 1명|arXiv (Cornell University)|2020. 10. 02.

Machine Learning in Healthcare참고 문헌 35인용 수 14

한 줄 요약

이 연구는 MIMIC-III 데이터셋을 기반으로 한 표준화된 벤치마크를 사용하여 종단적 전자건강기록(EHR)을 위한 기계학습의 진전을 평가하며, 네 가지 임상 과제에서 178개 모델을 비교한다. 비록 공동체의 참여가 두드러졌지만, 3년 간의 성능 향상은 미미했으며, 딥러닝 모델은 일부 과제에서만 로지스틱 회귀보다 뛰어났다. 이는 예측 성능의 정체를 드러내며, 구조화된 의료데이터에서 보다 잘 맞춘 벤치마크가 필요하다는 점을 시사한다.

ABSTRACT

The Large Scale Visual Recognition Challenge based on the well-known Imagenet dataset catalyzed an intense flurry of progress in computer vision. Benchmark tasks have propelled other sub-fields of machine learning forward at an equally impressive pace, but in healthcare it has primarily been image processing tasks, such as in dermatology and radiology, that have experienced similar benchmark-driven progress. In the present study, we performed a comprehensive review of benchmarks in medical machine learning for structured data, identifying one based on the Medical Information Mart for Intensive Care (MIMIC-III) that allows the first direct comparison of predictive performance and thus the evaluation of progress on four clinical prediction tasks: mortality, length of stay, phenotyping, and patient decompensation. We find that little meaningful progress has been made over a 3 year period on these tasks, despite significant community engagement. Through our meta-analysis, we find that the performance of deep recurrent models is only superior to logistic regression on certain tasks. We conclude with a synthesis of these results, possible explanations, and a list of desirable qualities for future benchmarks in medical machine learning.

연구 동기 및 목표

• 구조화된 종단적 EHR 데이터를 위한 기계학습의 진전 수준을 평가하고, 시간에 따른 예측 성능 향상을 중심으로 분석한다.
• 동일한 실험 설정에서 개발된 모델 간 직접 비교를 가능하게 하는 공통 벤치마크를 특정하고 분석한다.
• 성장하는 관심에도 불구하고 임상 예측 과제(생존율, 입원 기간, 표현형 분류, 악화)의 성능 향상이 정체된 이유를 탐구한다.
• 모델 아키텍처, 평가 지표, 과제 정의가 EHR 기반 기계학습의 성능 결과에 미치는 영향을 평가한다.
• 미래의 벤치마크가 의료 기계학습 분야에서 의미 있고 재현 가능하며 빠른 진전을 이끌 수 있도록 해야 할 핵심적 특성을 제안한다.

제안 방법

• Web of Science를 활용하여 구조화된 의료 데이터를 위한 벤치마크 논문를 식별하기 위해 종합적인 문헌 리뷰를 수행하였다.
• Harutyunyan 등(2019)이 수립한 MIMIC-III 벤치마크에 집중하였으며, 이는 표준화된 훈련/테스트 분할과 일관된 과제 정의를 제공한다.
• 동일한 실험 설정에서 178개 모델(기준 모델 포함)을 개발하고 평가한 20개 연구의 결과를 통합하였다.
• 시간에 따른 모델 성능 비교, 모델 유형(예: 딥 레커런트 네트워크 대비 로지스틱 회귀) 및 평가 지표(AUROC, AUPRC)에 따라 메타분석을 수행하였다.
• 과제 정의(예: 30일 대비 1년 생존율)의 변화, 사전 처리 단계, 평가 지표 선택이 성능 추세에 미치는 영향을 평가하였다.
• 소스 코드를 개방함으로써 지표 계산의 일관성을 확보하고 소프트웨어 기반 구현의 차이에서 발생할 수 있는 오류를 방지하였다.

실험 결과

연구 질문

• RQ1 3년 간의 표준화된 EHR 벤치마크에서 예측 성능 향상은 어느 정도 이루어졌는가?
• RQ2 딥러닝 모델은 구조화된 EHR 데이터에서 다양한 임상 예측 과제에서 전통적인 방법(예: 로지스틱 회귀)을 일관되게 능가하는가?
• RQ3 과제 정의의 차이(예: 30일 대비 1년 생존율)와 평가 지표의 선택이 모델 성능 비교 및 해석에 어떤 영향을 미치는가?
• RQ4 현재의 벤치마킹 관행에서 기반 구조가 기계학습의 진전을 저해하는 주요 제약은 무엇인가?
• RQ5 미래의 벤치마크는 어떤 특성을 가져야 의료 예측 모델링 분야에서 신뢰할 수 있고 재현 가능하며 빠른 진전을 이끌 수 있는가?

주요 결과

• 3년 간의 기간 동안 MIMIC-III 벤치마크에서 사망률, 입원 기간, 표현형 분류, 환자 악화 등 네 가지 임상 과제에서 의미 있는 성능 향상은 거의 없었다.
• 딥 레커런트 모델은 환자 악화 예측과 같은 특정 과제에서만 로지스틱 회귀를 능가했으며, 사망률 또는 입원 기간 예측에서는 그렇지 않았다.
• 대부분의 모델이 주로 AUROC를 평가 지표로 사용했지만, AUPRC와 같은 추가 지표의 비일관된 사용으로 인해 연구 간 비교가 어려웠다.
• 사망률과 같은 결과의 진짜 기준이 변화함에 따라 베이즈 오차가 낮은 하한선으로 수렴하는 증거가 없었으며, 이는 베이즈 오차가 실제 기준점으로서 유용하지 않을 수 있음을 시사한다.
• 사망률 예측의 시간 창 등 다양한 과제 정의의 표준화 부족이 성능 정체와 일관되지 않은 벤치마킹을 초래했을 가능성이 있다.
• 190회의 인용과 동일한 벤치마크에서 평가된 178개의 모델에도 불구하고 분야의 측정 가능한 진전이 이루어지지 않았으며, 이는 더 철저하고 일관된 벤치마킹 관행이 필요하다는 것을 시사한다.