[논문 리뷰] Few-Shot Continual Learning for 3D Brain MRI with Frozen Foundation Models

Chi-Sheng Chen, Xinyu Zhang외 4명|arXiv (Cornell University)|2026. 02. 26.

Domain Adaptation and Few-Shot Learning인용 수 0

한 줄 요약

고정된 기초 모델 백본에 태스크별 LoRA 어댑터를 사용한 3D 뇌 MRI에 대한 소-shot 지속 학습은 종양 분할과 뇌 연령 추정 간의 3D 뇌 MRI에서 제로 포깅(기억 상실 없음)을 달성하며, 최소한의 학습 가능한 매개변수로 수행된다.

ABSTRACT

Foundation models pretrained on large-scale 3D medical imaging data face challenges when adapted to multiple downstream tasks under continual learning with limited labeled data. We address few-shot continual learning for 3D brain MRI by combining a frozen pretrained backbone with task-specific Low-Rank Adaptation (LoRA) modules. Tasks arrive sequentially -- tumor segmentation (BraTS) and brain age estimation (IXI) -- with no replay of previous task data. Each task receives a dedicated LoRA adapter; only the adapter and task-specific head are trained while the backbone remains frozen, thereby eliminating catastrophic forgetting by design (BWT=0). In continual learning, sequential full fine-tuning suffers severe forgetting (T1 Dice drops from 0.80 to 0.16 after T2), while sequential linear probing achieves strong T1 (Dice 0.79) but fails on T2 (MAE 1.45). Our LoRA approach achieves the best balanced performance across both tasks: T1 Dice 0.62$\pm$0.07, T2 MAE 0.16$\pm$0.05, with zero forgetting and $<$0.1\% trainable parameters per task, though with noted systematic age underestimation in T2 (Wilcoxon $p<0.001$). Frozen foundation models with task-specific LoRA adapters thus offer a practical solution when both tasks must be maintained under few-shot continual learning.

연구 동기 및 목표

• 제한된 라벨 데이터 하에서 의료 영상에서의 지속 학습을 촉진한다.
• 각 새로운 태스크마다 태스크 특화 LoRA 어댑터를 추가하고 기초 모델 백본을 고정하는 프레임워크를 제안한다.
• 어댑터 격리가 역방향 전달 없이 제로(BWT=0)을 달성하면서 태스크 성능을 유지한다는 것을 시연한다.
• BraTS(분할)와 IXI(뇌 연령)에서 평가하여 태스크 간 균형 잡힌 결과를 보인다.

제안 방법

• 대규모 MRI 데이터로 사전 학습된 고정된 3D UNet 백본을 사용한다.
• 백본에 태스크별로 전용 LoRA 어댑터를 부착하고 어댑터와 태스크 특화 머리(head)만 학습한다.
• 새로운 태스크 학습 중에 이전에 학습된 모든 어댑터와 백본을 고정 상태로 유지하여 BWT=0을 달성한다.
• 분할을 위해 인코더+디코더 LoRA를 사용한다; 인코더만의 LoRA는 불충분하다.
• 소수 샷 샘플(N_k ∈ {16,32,64})과 표준 손실(Dice+BCE 분할, 회귀는 MSE)로 학습한다.
• 연속 태스크에 대해 평가하여 순차적 파인튜닝, 선형 프로빙, EWC, LwF, 리플레이와 비교한다.

실험 결과

연구 질문

• RQ1 고정된 기초모델 백본에 태스크별 LoRA 어댑터가 이전 태스크를 잊지 않고 진짜 소-shot 지속 학습을 지원하는가?
• RQ2 인코더(만) LoRA 배치와 인코더+디코더 LoRA 배치가 연속 설정에서 분할과 회귀 성능에 어떤 차이를 보이는가?
• RQ3 소-shot 지속 학습에서 T1 분할 성능과 T2 뇌-연령 추정 간의 트레이드오프는 무엇인가?
• RQ4 다른 샷 수와 태스크 순서에서도 제안 방법이 성능을 유지하는가?
• RQ5 LoRA 기반 접근법의 실제 자원 영향(학습 가능한 매개변수 수, GPU 메모리)은 어떤가?

주요 결과

방법	T1 Dice 상승	T2 MAE 하강	T1 이후 T2	BWT
LoRA (enc+dec)	0.60 ± 0.08	0.012 ± 0.003	(=T1)	0.00
Sequential Linear	0.79 ± 0.01	1.45 ± 0.03	0.78 ± 0.01	-0.01 ± 0.01
Sequential FT	0.80 ± 0.02	0.005† ± 0.003	0.16 ± 0.19	-0.65 ± 0.17
EWC	0.79 ± 0.02	0.001† ± 0.001	0.15 ± 0.24	-0.65 ± 0.23
LwF	0.80 ± 0.02	0.020 ± 0.009	0.25 ± 0.22	-0.56 ± 0.24
Replay	0.79 ± 0.01	0.021 ± 0.013	0.01 ± 0.01	-0.78 ± 0.02

• 고정된 백본을 사용하는 LoRA는 역방향 전달이 0(BWT = 0)이면서 분할(T1 Dice)과 뇌-연령 회귀(T2 MAE) 간의 균형 잡힌 성능을 제공한다.
• LoRA는 BWT = 0를 사용하여 태스크당 학습 가능한 매개변수가 <0.1%인 상태에서 T1 Dice = 0.60 ± 0.08 및 T2 MAE = 0.012 ± 0.003를 달성한다.
• 연속 전체 파인튜닝은 심한 망각(예: T1 Dice 0.80 → 0.16; BWT ≈ -0.65)을 초래한다.
• 연속 선형 프로빙은 T1을 보존하지만 T2에서 실패한다(MAE ≈ 1.45).
• 다른 지속 학습 기준선(EWC, LwF, Replay)은 T1 안정성과 T2 정확도에서 다양한 성능을 보이지만, 제로 잊힘과 경쟁력 있는 T2 정확도의 조합에는 미치지 못한다.
• 분할에는 인코더+디코더 LoRA가 필요하며; 인코더만의 LoRA는 성능이 좋지 않다(T1 Dice ≈ 0.19).
• 태스크별 선형 또는 교차-참조형 방법은 일부 설정에서 더 낮은 T2 MAE를 달성할 수 있지만 지속 학습 제약을 위반하거나 과적합 아티팩트를 보인다(현저히 낮은 MAE).
• LoRA는 n_shot=32에서 강력한 성능을 보이며 3단계 태스크 순서(T3 → T2)에서도 BWT = 0로 견고하다.