[論文レビュー] Benchmarking machine learning models on eICU critical care dataset

Seyedmostafa Sheikhalishahi, Vevake Balaraman+1 more|arXiv (Cornell University)|Oct 2, 2019

Machine Learning in Healthcare被引用数 5

ひとこと要約

本論文は、eICUデータセットを用いて、致死予測、滞在期間推定、患者の病態分類、失調リスク予測の4つの重症ケア分野の予測タスクを評価するための公開ベンチマークスイートを紹介している。臨床的モデル、ベースラインモデル、ディープラーニングモデルを比較し、数値変数およびカテゴリカル変数の取り扱いが、すべてのタスクにおいて性能に顕著な影響を与えることを示している。

ABSTRACT

Progress of machine learning in critical care has been difficult to track, in part due to absence of public benchmarks. Other fields of research (such as vision and NLP) have already established various competitions and benchmarks, whereas only recent availability of large clinical datasets has enabled the possibility of public benchmarks. Taking advantage of this opportunity, we propose a public benchmark suite to address four areas of critical care, namely mortality prediction, estimation of length of stay, patient phenotyping and risk of decompensation. We define each task and compare the performance of both clinical models as well as baseline and deep models using eICU critical care dataset of around 73,000 patients. Furthermore, we investigate the impact of numerical variables as well as handling of categorical variables for each of the defined tasks.

研究の動機と目的

• 標準化された評価フレームワークの欠如に起因する、重症ケア分野における機械学習のための公開ベンチマークスイートを確立すること。
• 4つの主要な臨床的タスクを対象とすること：致死予測、滞在期間推定、患者の病態分類、失調リスク予測。
• ~73,000名の患者を含む大規模なeICUデータセットを用いて、臨床的モデル、ベースラインモデル、ディープラーニングモデルの性能を比較すること。
• 数値変数およびカテゴリカル変数の取り扱いが、異なる臨床的タスクにおけるモデル性能に与える影響を調査すること。

提案手法

• ベンチマークスイートは、約73,000名の患者を含み、豊富な縦断的ICUデータを有するeICU重症ケアデータセットに基づいている。
• 4つの異なる機械学習タスクが定義されている：致死予測、滞在期間推定、患者の病態分類、失調リスク予測。
• 評価対象のモデルには、臨床的モデル、従来のベースラインモデル（例：ロジスティック回帰）、ディープラーニングアーキテクチャ（例：RNN、Transformers）が含まれる。
• 数値変数は標準化またはスケーリング処理が施され、カテゴリカル変数はワンホットエンコーディングまたは埋め込み技術が用いられる。
• 性能評価には標準的な指標が使用される：分類タスクにはAUC-ROC、回帰タスクにはMAEおよびRMSE、病態分類には調整ランダ指数が用いられる。
• 実験では、データ前処理戦略を体系的に変化させ、その影響がタスク全体にわたるモデル性能に与える影響を評価する。

実験結果

リサーチクエスチョン

• RQ1 eICUデータセットを用いた際、異なる機械学習モデルは、重症ケア分野の主要な予測タスクにおいてどのように性能を発揮するか？
• RQ2 数値変数の前処理が、重症ケア分野の機械学習タスクにおけるモデル性能に与える相対的な影響は何か？
• RQ3 カテゴリカル変数のエンコーディングの選択が、致死予測および病態分類タスクにおけるモデル性能に与える影響は何か？
• RQ4 ディープラーニングモデルは、定義されたタスク全体において、臨床的およびベースラインモデルをどれほど上回るか？
• RQ5 どのデータ前処理戦略が、複数の重症ケア予測タスクにわたって最も一貫した改善をもたらすか？

主な発見

• 特にシーケンスモデリングアーキテクチャを用いた場合、ディープラーニングモデルは、致死予測および失調リスク予測において、従来のベースラインモデルや臨床的モデルを上回った。
• 埋め込み技術によるカテゴリカル変数の適切な取り扱いが、特に病態分類および致死予測タスクにおいて顕著な性能向上をもたらした。
• 数値変数の標準化は、すべてのタスクにおいて一貫してモデル性能を向上させ、特に滞在期間推定タスクで最大の影響を示した。
• 病態分類の性能は前処理の選択に最も敏感であり、埋め込みベースの手法がワンホットエンコーディングよりも高い調整ランダ指数を達成した。
• ベンチマークスイートは、モデル性能がタスクによって顕著に異なることを明らかにした。特に、致死予測タスクは、すべてのタスクの中で最高のAUC-ROCスコアを示した。
• 本研究は、データ前処理、特にカテゴリカル特徴の前処理が、モデル成功の重要な要因であることを示した。これは、アーキテクチャの選択を上回る影響を及ぼすことが多かった。