[論文レビュー] Multimodal Clinical Benchmark for Emergency Care (MC-BEC): A Comprehensive Benchmark for Evaluating Foundation Models in Emergency Medicine

Emma Chen, Aman Kansal+5 more|arXiv (Cornell University)|Nov 7, 2023

Emergency and Acute Care Studies被引用数 5

ひとこと要約

本論文では、102,731件の救急科受診を含む多様なデータタイプ（生命徴収値、ECG/PPG波形、レントゲンレポート、構造化されたEHRなど）を用いて、緊急医療分野における基礎モデルの評価を目的とした包括的で多モodalなベンチマーク、MC-BECを紹介する。本ベンチマークは、複数の時間スケールで臨床的に重要なタスク（失調予測、退院処置、再受診予測）に対する堅牢な評価を可能にし、ベースライン、標準化された分割、公平性評価を備え、欠損モダリティに対するモデルの頑健性を示し、性能に顕著な人種的差異を特定した。

ABSTRACT

We propose the Multimodal Clinical Benchmark for Emergency Care (MC-BEC), a comprehensive benchmark for evaluating foundation models in Emergency Medicine using a dataset of 100K+ continuously monitored Emergency Department visits from 2020-2022. MC-BEC focuses on clinically relevant prediction tasks at timescales from minutes to days, including predicting patient decompensation, disposition, and emergency department (ED) revisit, and includes a standardized evaluation framework with train-test splits and evaluation metrics. The multimodal dataset includes a wide range of detailed clinical data, including triage information, prior diagnoses and medications, continuously measured vital signs, electrocardiogram and photoplethysmograph waveforms, orders placed and medications administered throughout the visit, free-text reports of imaging studies, and information on ED diagnosis, disposition, and subsequent revisits. We provide performance baselines for each prediction task to enable the evaluation of multimodal, multitask models. We believe that MC-BEC will encourage researchers to develop more effective, generalizable, and accessible foundation models for multimodal clinical data.

研究の動機と目的

• 緊急医療分野における基礎モデルを評価する包括的で多モーダルなベンチマークの不足に対処すること。
• 複数の時間スケールで臨床的に重要な予測タスクをカバーする標準化された評価フレームワーク（トレイン・テスト分割と指標）を構築すること。
• 欠損データ状態下および多様な文化的背景を持つグループにわたるモデル性能の堅牢な評価を可能にすること。
• コロナ禍時代の豊富な多モーダルデータを用いて、マルチタスクおよびタスク特化型モデルの性能ベースラインを提供すること。
• 現実世界の救急医療に適した、より汎用的で公平かつ臨床的に解釈可能な基礎モデルの開発を促進すること。

提案手法

• ベンチマークは、2020年から2022年までの間、連続的生理モニタリングと多様な臨床データを有する102,731件の救急科受診を含むMC-MED-v0データセットに基づいている。
• データセットには、トリアージ情報、既往歴・薬剤情報、処置指示、薬剤投与履歴、検査結果、生命徴収値、ECGおよびPPG波形、自由記述型レントゲンレポートが含まれる。
• ベンチマークは、患者の失調予測（数分以内）、退院処置（数時間以内）、救急科再受診予測（数日以内）の3つの主要な予測タスクを定義しており、それぞれ標準化された評価指標とトレイン・テスト分割が用意されている。
• 欠損モダリティに対するモデルの頑健性をアブレーションスタディを通じて評価できるように、マルチタスク学習フレームワークが採用されている。
• 公平性評価は、年齢、性別、人種、民族などの文化的サブグループ間の比較を用い、真正陽性率（TPR）差、統計的同等性差（SPD）、差別的インパクト（DI）、同等機会差（EOD）などの指標を用いて実施されている。
• LightGBMに基づくベースラインモデルが、複雑な多モーダル環境における明示的特徴抽出の価値を強調する性能基準を提供するために用いられている。

実験結果

リサーチクエスチョン

• RQ1 多モーダルな救急科受診データを用いた場合、基礎モデルは失調予測、退院処置、再受診予測という複数の臨床的に重要な予測タスクにおいて、どのように性能を発揮するか？
• RQ2 特に長期的な予測ウィンドウにおいて、異なるモダリティの欠損データに対してモデルの予測はどの程度頑健か？
• RQ3 人種、性別、年齢などの文化的サブグループ間で、モデルの予測性能にどのような差が生じるか？
• RQ4 マルチタスク学習は、タスク特化型モデルと比較して、多モーダルな救急医療データにおける性能と一般化能力において、どのように異なるか？
• RQ5 標準化されたベンチマークは、緊急医療分野における汎用的で公平かつ臨床的に解釈可能な基礎モデルの評価と開発をどの程度改善できるか？

主な発見

• ベンチマークは、失調予測において、連続的モニタリングデータが欠損している場合、特に長期的な時間ウィンドウではAUPRCが最大0.14低下することを示した。
• 退院処置予測において、処置指示データが欠損していると性能が著しく低下し、ケア計画における臨床ワークフロー情報の重要性が浮き彫りになった。
• 3日以内の救急科再受診予測において、人種グループ間の平均TPR差は最大0.11に達し、モデル性能に顕著な文化的バイアスが存在することが示された。
• 90分および120分の失調予測において性別による差が観察され、それぞれTPR差が0.08および0.09であった。
• 60分の失調予測において年齢層ごとの差が確認され、TPR差は0.07であった。
• ベンチマークは、短期的予測では生理的モニタリングデータの欠損に対してモデルが最も脆弱であるのに対し、長期的退院処置予測では構造化されたデータ（例：処置指示）が最も重要であることを明らかにした。