[论文解读] Few-Shot Continual Learning for 3D Brain MRI with Frozen Foundation Models

Chi-Sheng Chen, Xinyu Zhang+4 more|arXiv (Cornell University)|Feb 26, 2026

Domain Adaptation and Few-Shot Learning被引用 0

一句话总结

一个冻结的基础模型主干配合面向任务的 LoRA 适配器，使得对 3D 脑 MRI 的少-shot 持续学习在肿瘤分割和脑年龄估计任务上实现零遗忘，且可训练参数极少。

ABSTRACT

Foundation models pretrained on large-scale 3D medical imaging data face challenges when adapted to multiple downstream tasks under continual learning with limited labeled data. We address few-shot continual learning for 3D brain MRI by combining a frozen pretrained backbone with task-specific Low-Rank Adaptation (LoRA) modules. Tasks arrive sequentially -- tumor segmentation (BraTS) and brain age estimation (IXI) -- with no replay of previous task data. Each task receives a dedicated LoRA adapter; only the adapter and task-specific head are trained while the backbone remains frozen, thereby eliminating catastrophic forgetting by design (BWT=0). In continual learning, sequential full fine-tuning suffers severe forgetting (T1 Dice drops from 0.80 to 0.16 after T2), while sequential linear probing achieves strong T1 (Dice 0.79) but fails on T2 (MAE 1.45). Our LoRA approach achieves the best balanced performance across both tasks: T1 Dice 0.62$\pm$0.07, T2 MAE 0.16$\pm$0.05, with zero forgetting and $<$0.1\% trainable parameters per task, though with noted systematic age underestimation in T2 (Wilcoxon $p<0.001$). Frozen foundation models with task-specific LoRA adapters thus offer a practical solution when both tasks must be maintained under few-shot continual learning.

研究动机与目标

• 在标注数据有限的情况下推动医学影像领域的持续学习。
• 提出一个框架：冻结基础模型主干，并为每个新任务添加面向任务的 LoRA 适配器。
• 证明适配器隔离能够在保持竞争性任务性能的同时实现零向后迁移。
• 在 BraTS（分割）和 IXI（脑年龄）上进行评估，显示跨任务的平衡结果。

提出的方法

• 使用在大规模 MRI 数据上预训练的冻结 3D UNet 主干。
• 为每个任务在主干上附加一个专用 LoRA 适配器，仅训练适配器和一个面向任务的头部。
• 在新任务训练期间确保所有已学习的适配器和主干保持固定，以实现 BWT=0。
• 对于分割使用编码器+解码器的 LoRA；仅编码器的 LoRA 不足以胜任分割。
• 以少-shot 样本（N_k ∈ {16,32,64}）和标准损失进行训练（分割使用 Dice+BCE，回归使用 MSE）。
• 在连续任务上进行评估，以与连续微调、线性探测、EWC、LwF 和回放进行对比。

实验结果

研究问题

• RQ1 冻结的基础模型主干配合面向任务的 LoRA 适配器能否在不忘记先前任务的前提下实现真正的少-shot 持续学习？
• RQ2 编码器-only 与 编码器+解码器 LoRA 放置在持续学习中的分割与回归性能有何差异？
• RQ3 在少-shot 持续学习条件下，T1 分割性能与 T2 脑龄估计性能之间的权衡如何？
• RQ4 方法在不同的拍数和任务顺序下是否保持性能？
• RQ5 LoRA 基方法在训练参数数量、显存等实际资源上的影响如何？

主要发现

方法	T1 Dice ↑	T2 MAE ↓	T1 after T2	BWT
LoRA (enc+dec)	0.60 ± 0.08	0.012 ± 0.003	(=T1)	0.00
Sequential Linear	0.79 ± 0.01	1.45 ± 0.03	0.78 ± 0.01	-0.01 ± 0.01
Sequential FT	0.80 ± 0.02	0.005† ± 0.003	0.16 ± 0.19	-0.65 ± 0.17
EWC	0.79 ± 0.02	0.001† ± 0.001	0.15 ± 0.24	-0.65 ± 0.23
LwF	0.80 ± 0.02	0.020 ± 0.009	0.25 ± 0.22	-0.56 ± 0.24
Replay	0.79 ± 0.01	0.021 ± 0.013	0.01 ± 0.01	-0.78 ± 0.02

• 在冻结主干的条件下，LoRA 实现零向后迁移（BWT=0），同时在分割（T1 Dice）和脑年龄回归（T2 MAE）之间保持平衡性能。
• LoRA 在 T1 Dice=0.60±0.08、T2 MAE=0.012±0.003 的情况下达到 BWT=0，且每个任务的可训练参数占比<0.1%。
• 顺序全量微调会导致严重遗忘（T1 Dice 从 0.80 → 0.16；BWT 约 -0.65）。
• 顺序线性探测保持 T1（约 0.79）但在 T2 上表现不佳（MAE 约 1.45）。
• 其它持续学习基线（EWC、LwF、Replay）在 T1 稳定性与 T2 准确性方面表现各异，但都无法达到 LoRA 的零遗忘+竞争性 T2 精度的组合效果。
• 编码器+解码器 LoRA 对分割是必要的；仅编码器的 LoRA 表现较差（T1 Dice 约 0.19）。
• 在一些设置下，按任务线性或类“oracle”方法可实现更低的 T2 MAE，但违反持续学习约束或出现过拟合伪像（MAE 极低）。
• LoRA 在 n_shot=32 下表现强劲，并且在阶段3任务顺序（T3 → T2）下仍具鲁棒性，BWT=0。