[論文レビュー] The Patient is not a Moving Document: A World Model Training Paradigm for Longitudinal EHR

Irsyad Adam, Zekai Chen+6 more|arXiv (Cornell University)|Jan 29, 2026

Machine Learning in Healthcare被引用数 0

ひとこと要約

論文は臨床モデルが次のトークンを予測するだけでなく患者の軌跡をシミュレーションすべきであると主張し、監視付きファインチューニングと共同埋め込み予測アーキテクチャを組み合わせたSMB-Structureを導入して、長期間のEHRデータから潜在的軌道動態を学習する。

ABSTRACT

Large language models (LLMs) trained with next-word-prediction have achieved success as clinical foundation models. Representations from these language backbones yield strong linear probe performance across biomedical tasks, suggesting that patient semantics emerge from next-token prediction at scale. However, this paradigm treats patients as a document to be summarized rather than a dynamical system to be simulated; a patient's trajectory emerges from their state evolving under interventions and time, requiring models that simulate dynamics rather than predict tokens. To address this, we introduce SMB-Structure, a world model for structured EHR that grounds a joint-embedding prediction architecture (JEPA) with next-token prediction (SFT). SFT grounds our model to reconstruct future patient states in token space, while JEPA predicts those futures in latent space from the initial patient representation alone, forcing trajectory dynamics to be encoded before the next state is observed. We validate across two large-scale cohorts: Memorial Sloan Kettering (23,319 oncology patients; 323,000+ patient-years) and INSPECT (19,402 pulmonary embolism patients). Using a linear probe evaluated at multiple points along the disease trajectory, we demonstrate that our training paradigm learns embeddings that capture disease dynamics not recoverable by autoregressive baselines, enabling SMB-Structure to achieve competitive performance on complex tasks characterized by high patient heterogeneity. Model weights are available at https://huggingface.co/standardmodelbio/SMB-v1-1.7B-Structure.

研究の動機と目的

• 介入下での患者状態の進化を明示的にモデル化するために、次トークン予測を越える動機づけ。
• 世界モデルを臨床意味論に基づかせつつ軌道動態を学習する。
• JEPAとSFTを組み合わせた潜在空間予測目的を大規模長期コホートで評価する。
• 潜在動態が自己回帰ベースラインでは回収不能な情報を、さまざまなタスクで捉えることを示す。

提案手法

• SMB-Structure（ドメイン特化の臨床トークン、ボトルネック予測子、モメンタムエンコーダ）を導入。
• JEPAによる潜在空間予測を、将来のトークンを観測する前に現在の状態から将来の埋め込みを予測して地説づけ。
• SFT（次トークン再構成）とJEPA（潜在空間予測）を共同目的で組み合わせ、均衡比とEMAターゲットネットワークを設定。
• 二重フォワードパス学習制度を採用：未マスクのシーケンスでSFT、マスクされたターゲットに対してJEPAを適用し、その後単一のパラメータ更新。
• MSKとINSPECTの二つのコホートから68の下流タスクにわたり、凍結埋め込み上の線形プローブで評価。

実験結果

リサーチクエスチョン

• RQ1 潜在空間軌道予測（JEPA）は、次トークン自己回帰では回収不能な疾病動態を捉えられるか。
• RQ2 監督付きファインチューニングによる地固めは、長期EHRタスクの潜在動態の品質を向上させるか。
• RQ3 多様な軌道パターン（MSK + INSPECT）への曝露は、軌道モデリングと一般化にどう影響するか。
• RQ4 カリキュラム地固め（SFT→JEPA）は、ダイナミック表現を学ぶ際の共同ハイブリッド訓練より有効か。

主な発見

• JEPAベースの目的は軌道正則化を強化し、特に訓練データが多様な軌道を含む場合に長期予測を改善する。
• カリキュラム地固め（SFTの後にJEPA）は、共同ハイブリッド訓練より優れており、同時学習時には目的の干渉が生じることを示唆。
• SMB-Structureで学習した潜在動態は、表層トークン再構成のみよりも異種疾患間でより良く一般化する。
• 短期タスクではSFTが同等程度に機能することもあるが、長期の死亡率予測や進行タスクでは潜在空間予測の恩恵が顕著。
• 急速に進化する軌道（INSPECT）への曝露は、緩徐に動く腫瘍学タスクの性能を向上させ、軌道多様性を正則化として支持する。