[논문 리뷰] The Patient is not a Moving Document: A World Model Training Paradigm for Longitudinal EHR

Irsyad Adam, Zekai Chen외 6명|arXiv (Cornell University)|2026. 01. 29.

Machine Learning in Healthcare인용 수 0

한 줄 요약

논문은 임상 모델이 단순히 다음 토큰을 예측하는 것을 넘어서 환자 궤적을 시뮬레이션해야 한다고 주장하며, 지도학습 미세조정과 공동 임베딩 예측 아키텍처를 결합한 SMB-Structure를 도입하여 종단 EHR 데이터로부터 잠재 궤적 동역학을 학습한다.

ABSTRACT

Large language models (LLMs) trained with next-word-prediction have achieved success as clinical foundation models. Representations from these language backbones yield strong linear probe performance across biomedical tasks, suggesting that patient semantics emerge from next-token prediction at scale. However, this paradigm treats patients as a document to be summarized rather than a dynamical system to be simulated; a patient's trajectory emerges from their state evolving under interventions and time, requiring models that simulate dynamics rather than predict tokens. To address this, we introduce SMB-Structure, a world model for structured EHR that grounds a joint-embedding prediction architecture (JEPA) with next-token prediction (SFT). SFT grounds our model to reconstruct future patient states in token space, while JEPA predicts those futures in latent space from the initial patient representation alone, forcing trajectory dynamics to be encoded before the next state is observed. We validate across two large-scale cohorts: Memorial Sloan Kettering (23,319 oncology patients; 323,000+ patient-years) and INSPECT (19,402 pulmonary embolism patients). Using a linear probe evaluated at multiple points along the disease trajectory, we demonstrate that our training paradigm learns embeddings that capture disease dynamics not recoverable by autoregressive baselines, enabling SMB-Structure to achieve competitive performance on complex tasks characterized by high patient heterogeneity. Model weights are available at https://huggingface.co/standardmodelbio/SMB-v1-1.7B-Structure.

연구 동기 및 목표

• 개입하에 환자 상태 진화를 명시적으로 모델링하기 위해 다음 토큰 예측을 넘어서는 동기를 제시한다.
• 임상 의미론으로 세계 모델을 정거하고 궤적 동역학을 학습한다.
• 대규모 종단 코호트에서 SFT와 함께 잠재 공간 예측 목표(JEPA)를 평가한다.
• 잠재적 역학이 자기회귀 기반의 벤치마크가 회복하지 못하는 정보를 포착하는지 다양한 작업에서 demonstrat 한다.

제안 방법

• 도메인 특화 임상 토큰, 병목 예측기, 모멘텀 인코더를 포함하는 SMB-Structure를 도입한다.
• Future 토큰을 관찰하기 전 현재 상태에서 미래 임베딩을 예측하여 JEPA를 통해 잠재 공간 예측을 지상화한다.
• SFT(다음 토큰 재구성)과 JEPA(잠재 공간 예측)를 균형 비율과 EMA 대상 네트워크로 결합한 공동 목표를 사용한다.
• 마스킹된 타깃에서 JEPA를 수행하고 비마스킹 시퀀스에서 SFT를 수행하는 이중 순방향 패스 학습 체제를 사용한 후 단일 파라미터 업데이트를 수행한다.
• 두 코호트(MSK 및 INSPECT)에서 68개의 다운스트림 작업에 걸쳐 고정 임베딩에 대한 선형 프로브로 평가한다.

실험 결과

연구 질문

• RQ1 잠재 공간 궤적 예측(JEPA)이 다음 토큰 자기회귀로 회복할 수 없는 질병Dynamics를 포착할 수 있는가?
• RQ2 감독 미세조정을 기반으로 하는 정거 grounding이 장기 장기 EHR 작업에 대한 잠재 동역학의 질을 개선하는가?
• RQ3 다양한 궤적 패턴(MSK + INSPECT)에 노출되는 것이 궤적 모델링 및 일반화에 어떤 영향을 미치는가?
• RQ4 커리큘럼 grounding(SFT→JEPA)이 동시 학습된 하이브리드 공동 학습보다 동적 표현 학습에 더 효과적인가?

주요 결과

• JEPA 기반 목표가 궤적 규칙화를 강하게 만들어, 교육 데이터가 다양한 궤적을 포괄할수록 장기 예측이 개선된다.
• 커리큘럼 grounding(SFT 후 JEPA)이 Joint-Hybrid 학습보다 우수하며, 동시 학습 시 목표 간 간섭이 있음을 시사한다.
• SMB-Structure로 학습된 잠재 동역학은 표면 토큰 재구성만으로 달성되는 것보다 이질적인 질병 전반에 대해 더 일반화된다.
• 단기적 작업에서는 SFT가 비슷한 성능을 내기도 하지만, 장기 예측과 사망/진행과 같은 작업에서 잠재 공간 예측의 이점이 특히 크다.
• 빠르게 진화하는 궤적(INSPECT)에 노출되면 느리게 움직이는 종양학 작업에서 성능이 향상되어 궤적 다양성이 규칙화로 작용하는 것을 지지한다.