[论文解读] Dementia-R1: Reinforced Pretraining and Reasoning from Unstructured Clinical Notes for Real-World Dementia Prognosis
Dementia-R1 使用带可验证奖励的两阶段强化学习框架,从非结构化临床记事中学习纵向推理,在真实 AMC 数据上实现强预测表现,在 ADNI 基准上以 7B 模型取得竞争性结果。
While Large Language Models (LLMs) have shown strong performance on clinical text understanding, they struggle with longitudinal prediction tasks such as dementia prognosis, which require reasoning over complex, non-monotonic symptom trajectories across multiple visits. Standard supervised training lacks explicit annotations for symptom evolution, while direct Reinforcement Learning (RL) is hindered by sparse binary rewards. To address this challenge, we introduce Dementia-R1, an RL-based framework for longitudinal dementia prognosis from unstructured clinical notes. Our approach adopts a Cold-Start RL strategy that pre-trains the model to predict verifiable clinical indices extracted from patient histories, enhancing the capability to reason about disease progression before determining the final clinical status. Extensive experiments show that Dementia-R1 achieves the best overall performance on the AMC real-world unstructured cohort, reaching an AUROC of 84.02% and outperforming models up to 10x larger. The framework also generalizes to Parkinson's disease dementia prediction in an independent hospital cohort, achieving an AUROC of 78.37%. On the ADNI benchmark, our 7B model attains the highest AUROC among all LLM baselines at 83.17%, demonstrating strong longitudinal reasoning over fluctuating cognitive trajectories. Code is available at https://anonymous.4open.science/r/dementiar1-CDB5.
研究动机与目标
- 以从非结构化临床叙述而非单次就诊快照出发,推动更准确的纵向痴呆预测。
- 开发一个两阶段的强化学习框架,能够对症状轨迹进行显式的时间推理。
- 通过冷启动 RL 的中间奖励方式,使用可验证的临床指数来解决最终预测的稀疏奖励问题。
- 在真实世界的非结构化数据(AMC)和结构化基准数据(ADNI)上展示泛化能力。
- 显示 7B 模型通过推理对齐的 RL 能力达到或超越更大规模的基线。
提出的方法
- 通过从记事中提取临床指数(MMSE、GDS、CDR)并利用辅助提取器构建可验证的预训练数据。
- 阶段 1 Cold-Start 预训练,采用 Group Relative Policy Optimization(GRPO)以容错基准奖励 R_cold 预测提取分数。
- 将 GRPO 目标设定为带裁剪的替代损失以及基于组的优势 A_i 以实现稳定性。
- 阶段 2 任务微调,使用稀疏奖励 R_task(正确/错误)优化最终二值痴呆预测。
- 统一的纵向样本构造,目标锚点(最后一次就诊)、锚点前的历史,以及离散的间隔桶以建模时间敏感性。
- 在 AMC 的非结构化记事与 ADNI 的结构化数据(通过线性化日志)上进行评估,以展示跨领域的泛化能力。

实验结果
研究问题
- RQ1强化学习框架能否从非结构化临床记事中学习显式的纵向推理来预测痴呆预测吗?
- RQ2用可验证的中间临床分数进行预训练是否比直接监督或标准 RL 微调提高最终预测的准确性?
- RQ3该方法从真实世界的非结构化数据到结构化基准的泛化能力如何?
- RQ47B 模型是否能够在多维度的痴呆相关推理任务上与更大模型竞争?
- RQ5模型是否能够从记事中推断出临床有意义的中间分数(MMSE、GDS、CDR)?
主要发现
- Dementia-R1 在 AMC 的非结构化数据集上达到 F1 = 77.03%,优于包括在阶段 1 之外的 GRPO 等多项基线。
- 阶段 1 的可验证奖励预训练使训练更稳定并加速收敛,最终 F1 高于纯监督或单阶段 RL 基线。
- 在 ADNI 基准上,Dementia-R1(7B)达到 F1 = 74.91%,接近 GPT-4o,在某些指标上与更大模型竞争。
- 临床指数预测有所提升,Dementia-R1 达到最高的平均指数预测准确度(59.6%),并在 GDS 与 CDR 指标上超过部分 32B 基线。
- 神经科医生评估显示 Dementia-R1 提供更具临床依据的推理轨迹,在总体临床效用和时间推理性能方面对比 32B 基线表现更好。
- 消融研究证实阶段 1 的益处:比未采用阶段 1 的模型更早收敛、最终 F1 更高。

阅读本论文
在 Nubint 阅读器中打开原文,边读边就任意段落提问。
在 Nubint 中阅读本论文本解读由 AI 根据论文原文生成,引用前请核对原文。