[論文レビュー] Yet Another ICU Benchmark: A Flexible Multi-Center Framework for Clinical ML

Robin van de Water, H.A.E. Schmidt+4 more|arXiv (Cornell University)|Jun 8, 2023

Machine Learning in Healthcare被引用数 7

ひとこと要約

本論文は、MIMIC-III/IV、eICU、HiRID、AUMCdb などの複数のICUデータセットを対象として、一貫性のある臨床機械学習ワークフローを標準化するモジュラーでオープンソースのフレームワークであるYet Another ICU Benchmark (YAIB)を紹介する。このフレームワークにより、再現可能で比較可能なモデル開発が可能となる。本研究では、モデルアーキテクチャよりもデータ前処理やコhort定義の影響がモデル性能に大きく寄与していることが示され、臨床機械学習分野における統一されたベンチマークの必要性が強く浮き彫りになった。

ABSTRACT

Medical applications of machine learning (ML) have experienced a surge in popularity in recent years. The intensive care unit (ICU) is a natural habitat for ML given the abundance of available data from electronic health records. Models have been proposed to address numerous ICU prediction tasks like the early detection of complications. While authors frequently report state-of-the-art performance, it is challenging to verify claims of superiority. Datasets and code are not always published, and cohort definitions, preprocessing pipelines, and training setups are difficult to reproduce. This work introduces Yet Another ICU Benchmark (YAIB), a modular framework that allows researchers to define reproducible and comparable clinical ML experiments; we offer an end-to-end solution from cohort definition to model evaluation. The framework natively supports most open-access ICU datasets (MIMIC III/IV, eICU, HiRID, AUMCdb) and is easily adaptable to future ICU datasets. Combined with a transparent preprocessing pipeline and extensible training code for multiple ML and deep learning models, YAIB enables unified model development. Our benchmark comes with five predefined established prediction tasks (mortality, acute kidney injury, sepsis, kidney function, and length of stay) developed in collaboration with clinicians. Adding further tasks is straightforward by design. Using YAIB, we demonstrate that the choice of dataset, cohort definition, and preprocessing have a major impact on the prediction performance - often more so than model class - indicating an urgent need for YAIB as a holistic benchmarking tool. We provide our work to the clinical ML community to accelerate method development and enable real-world clinical implementations. Software Repository: https://github.com/rvandewater/YAIB.

研究の動機と目的

• データセット使用の不一致、コhort定義、前処理パイプラインの不整合による、ICU機械学習研究における再現性と比較可能性の欠如に対処すること。
• コhort定義からモデル評価までを統一したMLパイプラインを、複数のオープンアクセスICUデータセットで標準化する、モジュラーで拡張可能なフレームワークを提供すること。
• 研究者が一貫性があり、透明で比較可能な方法でモデルの開発・訓練・評価を行うことを可能とし、メソドロジーオーバーヘッドを低減すること。
• データ関連の選択（コhort、前処理）がモデルアーキテクチャの選択よりもモデル性能に大きな影響を与えることの実証を通し、包括的で統一されたベンチマークの必要性を強調すること。
• 定義済みの臨床タスクとオープンソースコードを備えた共通の、コミュニティが利用可能なベンチマークを提供することで、実臨床応用の加速を図ること。

提案手法

• YAIBは、MIMIC-III/IV、eICU、HiRID、AUMCdb などの複数のオープンアクセスICUデータセットを対象とし、時間スケール、単位、臨床定義の面で統一されたデータハーモナイゼーションを実現するモジュラーなフレームワークである。
• コhort定義、特徴量工学、前処理、モデル訓練、評価までをカバーする、透明でエンドツーエンドのパイプラインを提供し、従来の機械学習およびディープラーニングモデルを対象としている。
• 臨床医と協働して開発された5つの定型臨床予測タスク（ICU死亡、急性腎障害（AKI）、敗血症、腎機能（KF）、滞在期間（LoS））がフレームワークに統合されている。
• 交差検証を用いたハイパーパrameterチューニングをサポートし、事前学習済みモデル、再現可能なコード、詳細なドキュメンテーションを提供することで完全な透明性を実現している。
• フレームワークは拡張可能である：最小限のコード変更で新しいデータセットやタスクを追加可能であり、既存のMLライブラリ（例：LightGBM、PyTorch）とも統合可能である。
• すべてのコンponentsは、依存関係の仕様、トレーニング/評価スクリプト、MLのベストプラクティスに準拠した再現性チェックリストを含めてオープンソース化されている。

実験結果

リサーチクエスチョン

• RQ1 コhort定義、前処理、データセット選択の違いが、ICU予測モデルの性能にどのように影響するか？
• RQ2 特徴量選択、補完、時間窓設定などのデータ関連の選択が、モデルアーキテクチャの選択と比較して、モデル性能にどの程度の影響を与えるか？
• RQ3 統一的でモジュラーなベンチマークフレームワークは、マルチセンターベースのICU機械学習研究における再現性と比較可能性を向上させることができるか？
• RQ4 標準化されたパイプラインを用いた場合、最先端のモデルの性能は、異なるICUデータセット間でどのように変動するか？
• RQ5 共通のベンチマークフレームワークは、臨床機械学習モデルの開発と実臨床応用の促進に寄与できるか？

主な発見

• モデルアーキテクチャの選択よりも、データセットの選定、コhort定義、前処理パイプラインの選択がモデル性能に大きな影響を与えることが示され、データ関連の意思決定が性能変動の主な要因であることが明らかになった。
• 同じ標準化されたパイプラインで評価した場合でも、同じ臨床タスクに対しても、異なるデータセット間でモデル性能に顕著な差が見られた。これは、一貫性のあるベンチマークの重要性を強調している。
• フレームワークは、5つの主要なICUデータセットで一貫したモデルのトレーニングと評価を実現し、再現性のある結果と透明なハイパーパrameterチューニングを達成した。
• 死亡、AKI、敗血症、KF、LoSの5つのベンチマークタスクすべての事前学習済みモデルを公開したことで、新規研究者の参入障壁が低下した。
• 統一されたパイプラインの使用により、メソドロジーオーバーヘッドが低減し、研究機関間でのモデル性能の信頼性の高い比較が可能になった。
• フレームワークのモジュラリティと拡張性のおかげで、新しいデータセットやタスクのシームレスな統合が可能となり、今後の臨床機械学習分野におけるベンチマークニーズに対応できる。