[論文レビュー] MOTOR: A Time-To-Event Foundation Model For Structured Medical Records

Ethan Steinberg, Jason Fries+2 more|arXiv (Cornell University)|Jan 9, 2023

Machine Learning in Healthcare被引用数 7

ひとこと要約

MOTORは、5500万件の患者記録（90億件の臨床イベント）を用いて、数千のTTEタスクを活用して時間的表現を強固に学ぶ、独自のpretraining目的を採用した自己教師あり時系列予測（TTE）基盤モデルである。最先端モデル比で時間依存C統計値を4.6%向上させ、ラベル効率性を95%向上させ、多様な医療データセットにおいて優れた汎化性と頑健性を示し、医療TTE予測のための最初の公開済み基盤モデルである。

ABSTRACT

We present a self-supervised, time-to-event (TTE) foundation model called MOTOR (Many Outcome Time Oriented Representations) which is pretrained on timestamped sequences of events in electronic health records (EHR) and health insurance claims. TTE models are used for estimating the probability distribution of the time until a specific event occurs, which is an important task in medical settings. TTE models provide many advantages over classification using fixed time horizons, including naturally handling censored observations, but are challenging to train with limited labeled data. MOTOR addresses this challenge by pretraining on up to 55M patient records (9B clinical events). We evaluate MOTOR's transfer learning performance on 19 tasks, across 3 patient databases (a private EHR system, MIMIC-IV, and Merative claims data). Task-specific models adapted from MOTOR improve time-dependent C statistics by 4.6% over state-of-the-art, improve label efficiency by up to 95% ,and are more robust to temporal distributional shifts. We further evaluate cross-site portability by adapting our MOTOR foundation model for six prediction tasks on the MIMIC-IV dataset, where it outperforms all baselines. MOTOR is the first foundation model for medical TTE predictions and we release a 143M parameter pretrained model for research use at [redacted URL].

研究の動機と目的

• 電子的健康記録（EHR）における時系列予測（TTE）モデリングにおいて、ラベル付きデータが限られることがモデルの汎化性と正確性を制限するという課題に対処すること。
• 大規模でラベルなしのEHRデータから広く有用な時間的表現を学ぶ基盤モデルを開発し、多様な医療予測タスクにおける転移学習性能を向上させること。
• 従来の自己回帰的pretraining目的には、医療TTEモデリングにおいて重要な長期時間枠を捉えられていないという限界を克服すること。
• 数千のTTE pretrainingタスクをサポートしつつ、最大35%のメモリ使用量削減を実現する、スケーラブルで効率的なアーキテクチャを構築すること。
• 再現可能な研究を促進し、医療TTEモデリング分野の進展を加速させるために、14300万パラメータのpretrained MOTORモデルを公開すること。

提案手法

• 8192個のTTEタスク（特定の診断や手術の発症までの時間を予測するなど）をpretraining信号として用いる、独自の自己教師ありpretraining目的を提案。多様な臨床結果に一般化可能な表現を学習する。
• 共有の時間依存重みとスパarsityを備えた、Transformerベースの区分的指数関数的モデルアーキテクチャを採用。大規模なTTE pretrainingを効率的に行い、メモリ使用量を削減する。
• 臨床コード間の階層的オントロジー関係を考慮した条件付きシャノンエントロピーを用いて、pretrainingタスクを選定。親コードから予測の不確実性が高いコードを優先する。
• 対照的学習風の目的関数を採用。pretraining段階で、多様な臨床イベントの時間的発現を同時に予測するようにモデルを学習させる。
• 微調整により、pretrained MOTORエンコーダーを下流のTTEタスクに適応させ、最小限のラベル付きデータで転移学習を可能にする。
• 条件付きエントロピーに基づく選択戦略を適用し、頻度とオントロジー構造の両方を考慮して、最も情報量の多い8192個の臨床コードをpretraining用に特定する。

Figure 1: MOTOR architecture and TTE pretraining tasks, as applied to a patient. Note how tasks (survival curves) vary at each time step $j$ , e.g., atorvastatin risk increases given a history of cardiovascular disorders.

実験結果

リサーチクエスチョン

• RQ1 大規模でラベルなしのEHRデータを用いた自己教師あり基盤モデルのpretrainingが、多様な医療予測タスクにおける時系列予測性能を顕著に向上させられるか？
• RQ2 数千のTTEタスクを活用するpretraining目的が、標準的な自己回帰的pretrainingに比べ、医療時系列データにおける有用な時間的表現を学習する上で優れているか？
• RQ3 MOTORは、下流のTTEタスクにおいて、最小限のラベル付きデータで高い性能を達成できるほど、ラベル効率性を向上させているか？
• RQ4 異なる患者集団や医療システム間で時間的分布のシフトが生じた場合、MOTORはどの程度頑健性を保っているか？
• RQ5 再トレーニングなしで、1つのpretrained MOTORモデルが複数のデータセット（EHRや請求データなど）に効果的に汎化可能か？

主な発見

• MOTORは、19の多様な医療予測タスクにおいて、最先端モデル比で平均して4.6%の時間依存C統計値の向上を達成した。
• MOTORは、下流タスクのピーク性能に到達するまでのラベル効率性を最大95%向上させ、顕著に少ないラベル付き例で高い性能を発揮した。
• モデルは、異なる患者集団やデータソース間での時間的分布シフトに対しても強い頑健性を示した。
• 提案されたTTE pretraining目的は、下流タスクでの性能で標準的な自己回帰的pretrainingを2.0%上回り、その有効性が裏付けられた。
• MIMIC-IVデータセットの6つの予測タスクで、すべてのベースラインを上回る最先端の性能を達成し、クロスサイト転移学習でも優れた結果を示した。
• 公開された14300万パラメータのMOTORモデルは、構造化された医療記録における時系列予測のための最初の公開済み基盤モデルである。

Figure 2: Per-time horizon performance differences (in time-dependent C statistic) when replacing autoregressive pretraining with TTE pretraining. Blue indicates better performance with TTE pretraining and red indicates worse.