[論文レビュー] Few-Shot Continual Learning for 3D Brain MRI with Frozen Foundation Models

Chi-Sheng Chen, Xinyu Zhang+4 more|arXiv (Cornell University)|Feb 26, 2026

Domain Adaptation and Few-Shot Learning被引用数 0

ひとこと要約

Frozen foundation-model backbone with task-specific LoRA adapters による 3D 脳 MRI の few-shot 継続学習は、腫瘍分割と脳年齢推定の両タスクで忘却ゼロを達成し、訓練可能パラメータを最小限に抑える。

ABSTRACT

Foundation models pretrained on large-scale 3D medical imaging data face challenges when adapted to multiple downstream tasks under continual learning with limited labeled data. We address few-shot continual learning for 3D brain MRI by combining a frozen pretrained backbone with task-specific Low-Rank Adaptation (LoRA) modules. Tasks arrive sequentially -- tumor segmentation (BraTS) and brain age estimation (IXI) -- with no replay of previous task data. Each task receives a dedicated LoRA adapter; only the adapter and task-specific head are trained while the backbone remains frozen, thereby eliminating catastrophic forgetting by design (BWT=0). In continual learning, sequential full fine-tuning suffers severe forgetting (T1 Dice drops from 0.80 to 0.16 after T2), while sequential linear probing achieves strong T1 (Dice 0.79) but fails on T2 (MAE 1.45). Our LoRA approach achieves the best balanced performance across both tasks: T1 Dice 0.62$\pm$0.07, T2 MAE 0.16$\pm$0.05, with zero forgetting and $<$0.1\% trainable parameters per task, though with noted systematic age underestimation in T2 (Wilcoxon $p<0.001$). Frozen foundation models with task-specific LoRA adapters thus offer a practical solution when both tasks must be maintained under few-shot continual learning.

研究の動機と目的

• 限られたラベルデータ下で医用画像分野の継続学習を促進する。
• バックボーンとして foundation-model を凍結し、各新しいタスクに対してタスク特有の LoRA アダプタを追加するフレームワークを提案する。
• アダプタの孤立化が後向き転移のゼロを達成しつつ、タスク性能を競合的に維持することを示す。
• BraTS（セグメンテーション）と IXI（脳年齢）で評価し、タスク間でバランスの取れた結果を示す。

提案手法

• 大規模な MRI データで事前学習した凍結済み 3D UNet ボトムアップを使用する。
• 各タスクに専用の LoRA アダプタをボトンクに接続し、アダプタとタスク特異的ヘッドのみを訓練する。
• 新タスクの訓練時には既に学習済みのアダプタとボトネットをすべて固定して BWT=0 を達成する。
• セグメンテーションには encoder+decoder LoRA を用い、encoder のみの LoRA は不十分。
• few-shot サンプル（N_k ∈ {16,32,64}）と標準損失（セグメンテーションは Dice+BCE、回帰は MSE）で訓練する。
• 逐次タスクに渡って評価し、逐次ファインチューニング、線形プロービング、EWC、LwF、リプレイと比較する。

実験結果

リサーチクエスチョン

• RQ1 凍結済み foundation-model バックボーンとタスク特有の LoRA アダプタは、過去のタスクを忘れずに真の few-shot 継続学習をサポートできるか。
• RQ2 エンコーダのみの LoRA 配置とエンコーダ+デコーダ LoRA 配置は、継続設定におけるセグメンテーションと回帰性能にどのような影響を与えるか。
• RQ3 few-shot 継続学習の下で、T1 セグメンテーション性能と T2 脳年齢推定のトレードオフはどうなるか。
• RQ4 提案手法は異なるショット数やタスク順序に対して性能を維持するか。
• RQ5 LoRA ベース手法の実際的なリソース影響（訓練可能パラメータ、GPU メモリ）はどの程度か。

主な発見

Method	T1 Dice ↑	T2 MAE ↓	T1 after T2	BWT
LoRA (enc+dec)	0.60 ± 0.08	0.012 ± 0.003	(=T1)	0.00
Sequential Linear	0.79 ± 0.01	1.45 ± 0.03	0.78 ± 0.01	-0.01 ± 0.01
Sequential FT	0.80 ± 0.02	0.005† ± 0.003	0.16 ± 0.19	-0.65 ± 0.17
EWC	0.79 ± 0.02	0.001† ± 0.001	0.15 ± 0.24	-0.65 ± 0.23
LwF	0.80 ± 0.02	0.020 ± 0.009	0.25 ± 0.22	-0.56 ± 0.24
Replay	0.79 ± 0.01	0.021 ± 0.013	0.01 ± 0.01	-0.78 ± 0.02

• 凍結されたバックボーンと LoRA によって後向き転移のゼロ（BWT = 0）を達成しつつ、セグメンテーション (T1 Dice) と脳年齢回帰 (T2 MAE) のバランスのとれた性能を提供する。
• LoRA は T1 Dice = 0.60 ± 0.08、T2 MAE = 0.012 ± 0.003 を BWT = 0 の状態で達成し、タスクごとに訓練可能パラメータを 0.1% 未満に抑える。
• 逐次全ファインチューニングは著しい忘却を招く（T1 Dice 0.80 → 0.16、BWT ≈ -0.65）。
• 逐次線形プロービングは T1 を約 0.79 で保持する一方、T2 は壊滅的（MAE ≈ 1.45）。
• 他の継続学習ベースライン（EWC、LwF、Replay）は T1 の安定性と T2 の精度にばらつきを示すが、ゼロ忘却と競争的な T2 精度の組み合わせには及ばない。
• セグメンテーションには Encoder+Decoder LoRA が必要で、Encoder のみは性能が低い（T1 Dice ≈ 0.19）。
• タスクごとの線形またはオラクル様の手法は一部設定で T2 MAE を低く達成することがあるが、継続学習の制約を破るか過剰適合のアーティファクトを示す（信じ難い低い MAE）。
• LoRA は n_shot=32 で強力な性能を示し、 phase 3 のタスク順序（T3 → T2）にも BWT = 0 のまま堅牢である。