[論文レビュー] Evaluating Progress on Machine Learning for Longitudinal Electronic Healthcare Data

David Bellamy, Leo Anthony Celi+1 more|arXiv (Cornell University)|Oct 2, 2020

Machine Learning in Healthcare参考文献 35被引用数 14

ひとこと要約

本研究では、MIMIC-IIIデータセットを用いた標準化されたベンチマークを用いて、縦断的電子歴史（EHR）における機械学習の進展を評価し、4つの臨床的タスクにおいて178のモデルを比較した。コミュニティの関与が著しく進展したにもかかわらず、3年間の間に性能向上は最小限にとどまり、深層学習モデルは特定のタスクを除いてロジスティック回帰を上回らなかった。これは予測性能の停滞と、構造化医療データにおけるより整合性のあるベンチマークの必要性を示している。

ABSTRACT

The Large Scale Visual Recognition Challenge based on the well-known Imagenet dataset catalyzed an intense flurry of progress in computer vision. Benchmark tasks have propelled other sub-fields of machine learning forward at an equally impressive pace, but in healthcare it has primarily been image processing tasks, such as in dermatology and radiology, that have experienced similar benchmark-driven progress. In the present study, we performed a comprehensive review of benchmarks in medical machine learning for structured data, identifying one based on the Medical Information Mart for Intensive Care (MIMIC-III) that allows the first direct comparison of predictive performance and thus the evaluation of progress on four clinical prediction tasks: mortality, length of stay, phenotyping, and patient decompensation. We find that little meaningful progress has been made over a 3 year period on these tasks, despite significant community engagement. Through our meta-analysis, we find that the performance of deep recurrent models is only superior to logistic regression on certain tasks. We conclude with a synthesis of these results, possible explanations, and a list of desirable qualities for future benchmarks in medical machine learning.

研究の動機と目的

• 構造化された縦断的EHRデータにおける機械学習の進捗状況、特に時間経過に伴う予測性能の変化を評価すること。
• 同一の実験環境下でモデルを直接比較可能な共有ベンチマークを特定・分析すること。
• 臨床予測タスク（死亡、入院期間、フェノタイピング、失調）における進捗が、関心の高まりにもかかわらず停滞している理由を調査すること。
• モデルアーキテクチャ、評価指標、タスク定義の違いが、EHRベースの機械学習における性能結果に与える影響を評価すること。
• 今後のベンチマークに求められる基本的特徴を提示し、医療機械学習分野における意味のある、再現可能で迅速な進展を可能にすること。

提案手法

• Web of Scienceを用いた包括的な文献レビューを実施し、構造化医療データのベンチマーク論文を同定した。
• Harutyunyanら（2019）が確立したMIMIC-IIIベンチマークに焦点を当てた。このベンチマークは、標準化された訓練/テスト分割と一貫したタスク定義を提供する。
• 同一の実験環境下で178のモデル（ベースラインを含む）を評価した20件の研究から結果を統合した。
• 時間経過、モデルタイプ（例：深層再帰ネットワーク対ロジスティック回帰）、評価指標（AUROC、AUPRC）ごとのモデル性能を比較するメタアナリシスを実施した。
• タスク定義（例：30日間死亡対1年間死亡）の違い、前処理手順、評価指標選択の違いが性能トレンドに与える影響を評価した。
• オープンソース実装を用いて、指標計算の一貫性を確保し、ソフトウェア固有の実装差による不一致を回避した。

実験結果

リサーチクエスチョン

• RQ1 3年間の期間にわたり、標準化されたEHRベンチマークにおいて予測性能はどの程度向上したか？
• RQ2 深層学習モデルは、構造化されたEHRデータにおける複数の臨床予測タスクにおいて、常にロジスティック回帰などの従来手法を上回るか？
• RQ3 タスク定義の違い（例：30日間死亡対1年間死亡）や評価指標の違いが、モデル性能の比較可能性と解釈可能性にどのように影響するか？
• RQ4 現在のベンチマーキング実践における主な制限要因は何か？ これは、構造化医療データにおける機械学習の進展を妨げている。
• RQ5 今後のベンチマークに備えるべき重要な特徴は何か？ これにより、臨床予測モデリング分野における信頼性があり再現可能で迅速な進展が可能になる。

主な発見

• 3年間の期間にわたり、MIMIC-IIIベンチマーク上での4つの臨床的タスク（死亡、入院期間、フェノタイピング、患者の失調）における予測性能に、ほとんど意味のある向上は見られなかった。
• 深層再帰モデルは、患者の失調予測という特定のタスクにおいてロジスティック回帰を上回ったが、死亡予測や入院期間予測ではそうではなかった。
• 大多数のモデルが主にAUROCを評価指標として報告したが、AUPRCなどの追加指標の不一致な使用が、研究間の比較可能性を制限した。
• 誤差率の下限に収束する兆候は確認できず、死亡などの結果の真の値が変化していることから、ベイズ誤差が下限誤差としての参考点として有用ではない可能性があると示唆された。
• 死亡予測のための時間窓が異なる（例：30日 vs. 1年）など、タスク定義の標準化が不十分であることが、性能の停滞と一貫性のないベンチマーキングの原因である可能性がある。
• 190件の引用と178のモデルが同じベンチマークで評価されたにもかかわらず、分野全体として測定可能な進展が得られていない。これは、より厳密で整合性のあるベンチマーキング実践の必要性を示している。