[论文解读] What is Wrong with Continual Learning in Medical Image Segmentation?

Camila González, Nick Lemke+2 more|arXiv (Cornell University)|Oct 21, 2020

Domain Adaptation and Few-Shot Learning被引用 14

一句话总结

本文提出UNEG，一种用于医学图像分割的多模型持续学习框架，通过为每个训练领域维护独立的nnU-Net分割模型和自编码器模型。通过在推理时利用领域特定自编码器的重建误差来选择最优分割器，UNEG在反向迁移方面优于持续学习方法，并避免了灾难性遗忘，表明在临床环境中，简单的多模型基线方法可能比复杂的持续学习方法更具有效性和实用性。

ABSTRACT

Continual learning protocols are attracting increasing attention from the medical imaging community. In continual environments, datasets acquired under different conditions arrive sequentially; and each is only available for a limited period of time. Given the inherent privacy risks associated with medical data, this setup reflects the reality of deployment for deep learning diagnostic radiology systems. Many techniques exist to learn continuously for image classification, and several have been adapted to semantic segmentation. Yet most struggle to accumulate knowledge in a meaningful manner. Instead, they focus on preventing the problem of catastrophic forgetting, even when this reduces model plasticity and thereon burdens the training process. This puts into question whether the additional overhead of knowledge preservation is worth it - particularly for medical image segmentation, where computation requirements are already high - or if maintaining separate models would be a better solution. We propose UNEG, a simple and widely applicable multi-model benchmark that maintains separate segmentation and autoencoder networks for each training stage. The autoencoder is built from the same architecture as the segmentation network, which in our case is a full-resolution nnU-Net, to bypass any additional design decisions. During inference, the reconstruction error is used to select the most appropriate segmenter for each test image. Open this concept, we develop a fair evaluation scheme for different continual learning settings that moves beyond the prevention of catastrophic forgetting. Our results across three regions of interest (prostate, hippocampus, and right ventricle) show that UNEG outperforms several continual learning methods, reinforcing the need for strong baselines in continual learning research.

研究动机与目标

• 挑战持续学习方法在医学图像分割中为必需的假设，尤其是在计算成本高昂和隐私约束严格的背景下。
• 探究在不使用知识蒸馏或参数正则化的情况下，为每个领域维护独立模型是否可作为比现有持续学习技术更强的基线。
• 开发一个公平的评估框架，以考虑推理过程中缺乏领域身份标签这一常见现实约束。
• 评估通过自编码器重建误差进行的模型选择是否能有效识别出分布外或领域偏移测试图像的最适分割器。
• 证明正向反向迁移（即随时间推移在早期领域上性能提升）比单纯防止灾难性遗忘更具意义。

提出的方法

• 提出UNEG（U-Net专家门控），一种多模型基准，为每个训练领域训练一个分割网络和一个自编码器，采用与nnU-Net相同的架构以保持一致性。
• 使用自编码器的重建误差作为领域相似性的代理指标：在测试图像上，重建误差最低的模型将被选中用于推理。
• 使用与分割模型相同的预处理和数据增强流程训练自编码器，确保架构和分布的一致性。
• 采用均方误差（MSE）损失进行自编码器训练，使网络能够重建输入图像并保持空间分辨率。
• 引入一种公平的评估协议，区分领域身份已知（如多头设置）和未知（如真实世界）的场景，实现更真实的基准测试。
• 使用三个公开数据集上的医学图像分割任务（前列腺、海马体和右心室）评估在不同解剖区域的性能。

实验结果

研究问题

• RQ1 是否可通过自编码器重建误差进行模型选择的简单多模型方法，在医学图像分割中超越复杂的持续学习方法？
• RQ2 现有持续学习方法在多大程度上实现了正向反向迁移，而非仅仅防止灾难性遗忘？
• RQ3 在推理过程中假设可获得领域身份标签是否在临床环境中现实？这如何影响持续学习评估的有效性？
• RQ4 在不依赖领域标签的情况下，基于自编码器的模型选择是否能有效识别出分布外或领域偏移测试图像的正确分割器？
• RQ5 在真实世界的医学影像应用中，为每个领域维护独立模型是否比持续学习更具实用性和有效性？

主要发现

• 与多种持续学习基线相比，UNEG在所有三个解剖区域（前列腺、海马体、右心室）均实现了更高的Dice分数，证明其在反向迁移方面表现优异。
• 该方法在大多数前列腺病例中成功识别出正确领域，并在海马体和心脏结构上保持高精度，而先前方法在这些解剖结构上表现失败。
• 领域特定自编码器的重建误差与领域身份高度相关，即使在无显式领域标签的情况下也能实现可靠的模型选择。
• 定性分析表明，分布内重建的准确性显著高于分布外重建，残差图中存在明显视觉差异。
• 本研究发现，许多持续学习方法未能实现正向反向迁移，这引发了对其在临床实践中复杂正则化机制必要性的质疑。
• 尽管训练阶段需为每个领域额外训练一个自编码器，但UNEG提供了一种稳健、公平且实用的基线，其在真实评估场景中优于最先进的持续学习方法。