[논문 리뷰] Yet Another ICU Benchmark: A Flexible Multi-Center Framework for Clinical ML

Robin van de Water, H.A.E. Schmidt외 4명|arXiv (Cornell University)|2023. 06. 08.

Machine Learning in Healthcare인용 수 7

한 줄 요약

이 논문은 MIMIC-III/IV, eICU, HiRID, AUMCdb 등 여러 ICU 데이터셋(모든 데이터셋)을 통합하여 표준화된 임상 기계학습 워크플로우를 제공하는 모듈러하고 오픈소스인 Yet Another ICU Benchmark (YAIB)를 소개한다. 이는 재현 가능하고 비교 가능한 모델 개발을 가능하게 한다. 연구 결과, 모델 아키텍처보다 데이터 전처리 및 코hort 정의가 모델 성능에 더 큰 영향을 미친다는 점을 입증하며, 임상 기계학습 분야에서 통합된 벤치마크의 긴급한 필요성을 강조한다.

ABSTRACT

Medical applications of machine learning (ML) have experienced a surge in popularity in recent years. The intensive care unit (ICU) is a natural habitat for ML given the abundance of available data from electronic health records. Models have been proposed to address numerous ICU prediction tasks like the early detection of complications. While authors frequently report state-of-the-art performance, it is challenging to verify claims of superiority. Datasets and code are not always published, and cohort definitions, preprocessing pipelines, and training setups are difficult to reproduce. This work introduces Yet Another ICU Benchmark (YAIB), a modular framework that allows researchers to define reproducible and comparable clinical ML experiments; we offer an end-to-end solution from cohort definition to model evaluation. The framework natively supports most open-access ICU datasets (MIMIC III/IV, eICU, HiRID, AUMCdb) and is easily adaptable to future ICU datasets. Combined with a transparent preprocessing pipeline and extensible training code for multiple ML and deep learning models, YAIB enables unified model development. Our benchmark comes with five predefined established prediction tasks (mortality, acute kidney injury, sepsis, kidney function, and length of stay) developed in collaboration with clinicians. Adding further tasks is straightforward by design. Using YAIB, we demonstrate that the choice of dataset, cohort definition, and preprocessing have a major impact on the prediction performance - often more so than model class - indicating an urgent need for YAIB as a holistic benchmarking tool. We provide our work to the clinical ML community to accelerate method development and enable real-world clinical implementations. Software Repository: https://github.com/rvandewater/YAIB.

연구 동기 및 목표

• 일관되지 않은 데이터셋 사용, 코hort 정의 및 전처리 파이프라인으로 인해 발생하는 ICU 기계학습 연구의 재현성과 비교 가능성 부족 문제를 해결하기 위해.
• 여러 개방형 ICU 데이터셋에서 전체 기계학습 파이프라인(코hort 정의부터 모델 평가까지)을 표준화하는 모듈러하고 확장 가능한 프레임워크를 제공하기 위해.
• 연구자들이 통합적이고 투명하며 비교 가능한 방식으로 모델을 개발, 훈련 및 평가할 수 있도록 지원하여 방법론적 부담을 줄이기 위해.
• 데이터 관련 선택사항(코hort, 전처리)이 모델 아키텍처보다 모델 성능에 더 큰 영향을 미친다는 점을 입증하여, 종합적이고 포괄적인 벤치마킹의 필요성을 강조하기 위해.
• 사전에 정의된 임상 작업과 오픈소스 코드를 제공하는 공동체가 준비한 공통 벤치마크를 통해 실제 임상 적용을 가속화하기 위해.

제안 방법

• YAIB는 MIMIC-III/IV, eICU, HiRID, AUMCdb 등 여러 개방형 ICU 데이터셋을 지원하는 모듈러한 프레임워크로, 시간 척도, 단위, 임상 정의에 걸쳐 표준화된 데이터 조율을 제공한다.
• 코hort 정의, 특징 공학, 전처리, 모델 훈련 및 평가까지의 투명한 종단 간 파이프라인을 제공하며, 기존 기계학습 및 딥러닝 모델을 모두 지원한다.
• 임상의와 협업하여 개발한 다섯 가지 사전 정의된 임상 예측 작업(ICU 사망률, 급성 신손상(AKI), 패혈증, 신기능(KF), 입원 기간(LoS))을 포함한다.
• 교차 검증을 통한 하이퍼파rameter 튜닝을 지원하며, 사전 훈련된 모델, 재현 가능한 코드, 상세한 문서를 제공하여 완전한 투명성을 확보한다.
• 확장 가능한 프레임워크로서, 최소한의 코드 변경으로 새로운 데이터셋과 작업을 추가할 수 있으며, 기존 기계학습 라이브러리(LightGBM, PyTorch 등)와 통합된다.
• 모든 구성 요소는 종속성 명세, 훈련/평가 스크립트, 기계학습 최적 실천 기준에 부합하는 재현성 체크리스트와 함께 오픈소스로 제공된다.

실험 결과

연구 질문

• RQ1 코hort 정의, 전처리, 데이터셋 선택의 변동이 ICU 예측 모델 성능에 어떤 영향을 미치는가?
• RQ2 특징 선택, 누락치 보간, 시간 윈도우 설정 등의 데이터 관련 선택사항이 모델 아키텍처에 비해 모델 성능에 얼마나 큰 영향을 미치는가?
• RQ3 통합적이고 모듈러한 벤치마크 프레임워크가 다중 기관 기반 ICU 기계학습 연구 간의 재현성과 비교 가능성 향상에 기여할 수 있는가?
• RQ4 표준화된 파이프라인을 사용할 때, 최신 기술 모델의 성능은 다양한 ICU 데이터셋 간에 어떻게 달라지는가?
• RQ5 공동 벤치마크 프레임워크는 임상 기계학습 모델의 개발 및 실제 임상 현장 적용을 가속화할 수 있는가?

주요 결과

• 모델 아키텍처 선택보다 데이터셋 선택, 코hort 정의, 전처리 파이프라인 선택이 모델 성능에 더 큰 영향을 미치며, 이는 데이터 관련 결정보다 성능 변동의 주요 원인임을 시사한다.
• 동일한 표준화된 파이프라인에서 평가했을 때, 동일한 임상 작업에 대해서도 다양한 데이터셋 간 성능에 상당한 격차가 있었으며, 일관된 벤치마킹의 중요성을 입증한다.
• 프레임워크를 통해 다섯 개의 주요 ICU 데이터셋에서 일관된 모델 훈련 및 평가가 가능했으며, 재현 가능한 결과와 투명한 하이퍼파rameter 튜닝을 확보했다.
• 모든 다섯 가지 벤치마크 작업(Mortality, AKI, Sepsis, KF, LoS)에 대한 사전 훈련된 모델을 공개하여 신규 연구자의 진입 장벽을 낮췄다.
• 통합된 파이프라인 사용으로 방법론적 노이즈가 감소하여, 연구 및 기관 간 모델 성능 비교의 신뢰성이 향상되었다.
• 프레임워크의 모듈러리티와 확장성 덕분에 새로운 데이터셋과 작업의 원활한 통합이 가능하여, 향후 임상 기계학습 분야의 벤치마킹 수요를 지속적으로 지원할 수 있다.