[论文解读] A Lifelong Learning Approach to Brain MR Segmentation Across Scanners and Protocols

Neerav Karani, Krishna Chaitanya+2 more|arXiv (Cornell University)|May 25, 2018

Domain Adaptation and Few-Shot Learning参考文献 14被引用 6

一句话总结

该论文提出了一种用于脑部MR图像分割的终身学习框架，通过使用共享卷积滤波器和针对特定领域的批量归一化（BN）层，仅需约4张标注图像即可将单一CNN适应于新型扫描仪或扫描协议。该方法在无需重新训练的情况下，保持了对先前已见领域的高性能，同时在新领域中实现了接近基准的准确率，并保留了先前的知识。

ABSTRACT

Convolutional neural networks (CNNs) have shown promising results on several segmentation tasks in magnetic resonance (MR) images. However, the accuracy of CNNs may degrade severely when segmenting images acquired with different scanners and/or protocols as compared to the training data, thus limiting their practical utility. We address this shortcoming in a lifelong multi-domain learning setting by treating images acquired with different scanners or protocols as samples from different, but related domains. Our solution is a single CNN with shared convolutional filters and domain-specific batch normalization layers, which can be tuned to new domains with only a few ($\approx$ 4) labelled images. Importantly, this is achieved while retaining performance on the older domains whose training data may no longer be available. We evaluate the method for brain structure segmentation in MR images. Results demonstrate that the proposed method largely closes the gap to the benchmark, which is training a dedicated CNN for each scanner.

研究动机与目标

• 解决由于强度和对比度差异导致的来自不同扫描仪或协议的MRI数据分割性能下降的问题。
• 实现在不遗忘先前学习领域的情况下，持续适应新成像领域的深度学习模型。
• 为临床实际部署开发一种实用解决方案，其中标注数据稀缺且数据分布随时间变化。
• 实现与为每台扫描仪单独训练网络相当的性能，但仅使用单一统一模型。

提出的方法

• 在所有扫描仪/协议上训练一个基于U-Net的单一CNN，共享卷积滤波器以利用共享的解剖特征。
• 引入领域特定的批量归一化层——每个扫描仪/协议拥有其自身的可学习参数γ和β——同时共享卷积权重。
• 仅通过约4张标注图像微调新领域的BN参数，而不更新共享的卷积滤波器。
• 通过保存并重用每个领域的原始BN参数（γ, β）来保持先前领域的性能。
• 采用多领域训练设置，即在网络适应新领域之前，先在多个领域上进行训练。
• 在终身学习设置中应用该方法：新领域以增量方式逐步添加，仅需极少数据，且先前性能得以保留。

实验结果

研究问题

• RQ1 能否在仅使用极少标注数据的情况下，有效将单一深度学习模型适应于新的MRI扫描仪或协议，同时保持对旧领域的性能？
• RQ2 与共享BN或领域不变特征学习相比，领域特定批量归一化在处理扫描间强度差异方面表现如何？
• RQ3 终身学习方法在应对多样化数据分布下的灾难性遗忘方面，能多大程度上减轻其影响？
• RQ4 该方法能否泛化到初始训练期间未见过的新MR模态（如T2加权图像）？

主要发现

• 所提方法在新领域（D4和D5）上达到的Dice分数与为每个领域从零开始训练的专用CNN相当，相较于基线模型最高提升达15%。
• 在微调新领域的BN参数后，模型在D4上的平均Dice分数达到0.841，在D5上达到0.715，显著优于未使用领域特定BN的基线模型。
• 在适应新领域后，对先前已见领域（D1、D2、D3）的性能保持不变，证实了不存在灾难性遗忘。
• 定性结果表明，适应后的分割掩码与真实值高度吻合，尤其在丘脑和杏仁核等困难区域表现优异。
• 该方法优于标准BN和直方图均衡化预处理，后者在新领域上反而降低了性能。
• 即使在D4和D5等存在极端强度偏移的领域上，模型仍保持高性能，而基线模型则完全失效。