[논문 리뷰] Dementia-R1: Reinforced Pretraining and Reasoning from Unstructured Clinical Notes for Real-World Dementia Prognosis
Dementia-R1은 검증 가능한 보상으로 학습하는 두 단계 강화 학습 프레임워크를 사용하여 비정형 임상 노트로부터 장기적 추론을 학습하고, 실제 AMC 데이터에서 치매 예측 성능을 강하게 달성하며 7B 모델로 ADNI 벤치마크에서도 경쟁력 있는 결과를 얻습니다.
While Large Language Models (LLMs) have shown strong performance on clinical text understanding, they struggle with longitudinal prediction tasks such as dementia prognosis, which require reasoning over complex, non-monotonic symptom trajectories across multiple visits. Standard supervised training lacks explicit annotations for symptom evolution, while direct Reinforcement Learning (RL) is hindered by sparse binary rewards. To address this challenge, we introduce Dementia-R1, an RL-based framework for longitudinal dementia prognosis from unstructured clinical notes. Our approach adopts a Cold-Start RL strategy that pre-trains the model to predict verifiable clinical indices extracted from patient histories, enhancing the capability to reason about disease progression before determining the final clinical status. Extensive experiments show that Dementia-R1 achieves the best overall performance on the AMC real-world unstructured cohort, reaching an AUROC of 84.02% and outperforming models up to 10x larger. The framework also generalizes to Parkinson's disease dementia prediction in an independent hospital cohort, achieving an AUROC of 78.37%. On the ADNI benchmark, our 7B model attains the highest AUROC among all LLM baselines at 83.17%, demonstrating strong longitudinal reasoning over fluctuating cognitive trajectories. Code is available at https://anonymous.4open.science/r/dementiar1-CDB5.
연구 동기 및 목표
- 비정형 임상 서술에서 단일 방문 스냅샷이 아닌 정확하고 장기적인 치매 예 prognosis를 도출하는 것을 목표로 한다.
- симптом의 동향에 대해 명시적 시간적 추론을 가능하게 하는 두 단계 강화 학습 프레임워크를 개발한다.
- 검증 가능한 임상 지표를 중간 보상으로 사용하는 Cold-Start RL 접근법으로 최종 예측에서의 희소 보상을 다룬다.
- 실제 비정형 데이터(AMC)와 구조화된 벤치마크(ADNI)에서 일반화 가능성을 입증한다.
- 7B 모델이 추론 정렬 RL를 통해 더 큰 모델과 대등하거나 우수한 성능을 보일 수 있음을 보여준다.
제안 방법
- 노트에서 임상 지표(MMSE, GDS, CDR)를 보조 추출기로 추출하여 검증 가능한 프리트레이닝 데이터를 구성한다.
- Stage 1 Cold-Start Pre-training with Group Relative Policy Optimization (GRPO)를 통해 추출된 점수를 허용 오차 기반의 검증 가능한 보상 R_cold로 예측한다.
- 안정성을 위한 잘려진 대리 손실과 그룹 기반 이점 A_i를 사용한 GRPO 목표를 정의한다.
- Stage 2 Task Fine-tuning은 희소 보상 R_task(정답/오답)로 최종 이진 치매 예 prognosis를 최적화한다.
- 타깃 앵커(마지막 방문), 앵커 전의 이력, 시간적 민감성을 모델링하기 위한 이산화된 간격 버킷을 포함한 통합적 종단 샘플 구성을 수행한다.
- AMC 비정형 노트와 ADNI 구조화 데이터(선형화 로그)를 통해 도메인 간 일반화 가능성을 보여준다.

실험 결과
연구 질문
- RQ1강화 학습 프레임워크가 비정형 임상 노트로부터 명시적 장기적 추론을 학습하여 치매 예 prognosis를 예측할 수 있는가?
- RQ2검증 가능한 중간 임상 점수로의 프리트레이닝이 최종 예측 정확도를 직접 지도 학습이나 표준 RL 미세조정보다 향상시키는가?
- RQ3실제 비정형 데이터에서 구조화된 벤치마크로의 일반화가 얼마나 잘 되는가?
- RQ47B 모델이 다차원적 치매 관련 추론 과제에서 더 큰 모델과 경쟁할 수 있는가?
- RQ5노트로부터 임상적으로 의미 있는 중간 점수(MMSE, GDS, CDR)를 추론할 수 있는가?
주요 결과
- Dementia-R1은 AMC 비정형 데이터세트에서 F1 = 77.03%를 달성하며 GRPO를 Stage 1 없이 사용한 여러 베이스라인보다 우수하다.
- 검증 가능한 보상으로 Stage 1 프리트레이닝은 학습 안정성을 높이고 수렴 속도를 가속화하여 순수하게 지도 학습되거나 단일 단계 RL 베이스라인보다 더 높은 최종 F1을 달성한다.
- ADNI 벤치마크에서 Dementia-R1 (7B)는 F1 = 74.91%를 달성하며 GPT-4o에 근접하고 일부 지표에서 더 큰 모델에 대적한다.
- 임상 지표 예측이 향상되어 Dementia-R1이 평균 지표 예측 정확도(59.6%)를 가장 높게 달성하고 GDS와 CDR 지표에서 일부 32B 베이스라인을 능가한다.
- 신경과 전문의 평가에서 Dementia-R1은 더 임상적으로 근거가 있는 추론 경로를 제공하며 Overall Clinical Utility가 높고 32B 베이스라인에 비해 강한 시간적 추론 성능을 보인다.
- Ablation 연구는 Stage 1의 이점을 확인한다: Stage 1 없이 학습한 모델보다 더 빠르게 수렴하고 최종 F1이 더 높다.

이 논문 읽기
누빈트 뷰어에서 원문을 열고, 읽으면서 궁금한 곳을 바로 물어보세요.
누빈트에서 이 논문 읽기이 리뷰는 AI가 논문 원문을 바탕으로 만들었습니다. 인용하기 전에 원문을 확인해 주세요.