[论文解读] Incremental Learning for Multi-organ Segmentation with Partially Labeled Datasets

Pengbo Liu, Li Xiao+1 more|arXiv (Cornell University)|Mar 8, 2021

Domain Adaptation and Few-Shot Learning参考文献 27被引用 5

一句话总结

本文提出了一种新颖的增量学习（IL）框架，用于使用按顺序构建的、部分标注的医学数据集进行多器官分割。通过将分布偏移视为灾难性遗忘的根本原因，并引入基于置信度的校正损失（CORR），该方法在最小遗忘的前提下实现了最先进性能，证明了增量学习在医学图像分割中因解剖结构一致性而具有极强的适用性。

ABSTRACT

There exists a large number of datasets for organ segmentation, which are partially annotated, and sequentially constructed. A typical dataset is constructed at a certain time by curating medical images and annotating the organs of interest. In other words, new datasets with annotations of new organ categories are built over time. To unleash the potential behind these partially labeled, sequentially-constructed datasets, we propose to learn a multi-organ segmentation model through incremental learning (IL). In each IL stage, we lose access to the previous annotations, whose knowledge is assumingly captured by the current model, and gain the access to a new dataset with annotations of new organ categories, from which we learn to update the organ segmentation model to include the new organs. We give the first attempt to conjecture that the different distribution is the key reason for 'catastrophic forgetting' that commonly exists in IL methods, and verify that IL has the natural adaptability to medical image scenarios. Extensive experiments on five open-sourced datasets are conducted to prove the effectiveness of our method and the conjecture mentioned above.

研究动机与目标

• 为了解决在无需从头开始重新训练的情况下，高效利用按顺序构建的部分标注医学影像数据集的挑战。
• 研究在人体器官固有的解剖一致性背景下，增量学习（IL）在多器官分割中是否具有可行性。
• 识别并验证在增量学习阶段之间存在的分布偏移是医学图像分割中灾难性遗忘的主要原因。
• 通过解决标注不一致数据集之间（例如，肝脏在某一数据集中为前景，另一数据集中为背景）的“知识冲突”，提升IL性能。
• 通过在各阶段之间仅共享模型参数，开发一种可扩展、高效且合乎伦理的全量微调替代方案。

提出的方法

• 该方法采用分阶段增量学习框架，其中每个包含新器官类别的新数据集按顺序处理，且在初始训练后不再访问先前数据。
• 应用知识蒸馏损失以保留对先前学习器官的性能，但仅在各阶段间数据分布一致的假设下成立。
• 所提出的CORR损失在训练期间剔除低置信度预测，减少假阳性结果，并改善Hausdorff距离度量。
• 通过在损失函数中重新定义背景，显式建模旧类别与新类别，以解决标注不一致数据集之间的“知识冲突”。
• 采用交叉熵损失、知识蒸馏和CORR损失的组合，端到端训练模型，以平衡学习新器官与保留旧知识。
• 该方法在五个开源、部分标注的数据集上进行了验证，模拟了随时间推移的真实世界数据积累过程。

实验结果

研究问题

• RQ1 当使用部分标注、按顺序获取的数据集时，增量学习是否能有效缓解多器官分割中的灾难性遗忘？
• RQ2 增量学习阶段之间的分布偏移是否是医学图像分割中性能下降的主要原因？
• RQ3 通过解决标注不一致数据集之间（例如，肝脏在某一数据集中被标记为前景，另一数据集中为背景）的“知识冲突”，能否提升IL性能？
• RQ4 CORR损失（通过过滤低置信度预测）对分割精度和鲁棒性有何影响？
• RQ5 增量学习能否在不同时访问全部数据的情况下，实现与联合训练全部数据的全监督方法相当的性能？

主要发现

• MiBOrgan方法通过结合知识蒸馏与背景感知的损失重加权，在HD95指标上相比LwF和ILT提升了9%，表明假阳性显著减少。
• 添加CORR损失导致Dice系数下降0.1%，但HD95指标提升9%，证明其在减少高距离误差方面的有效性。
• 该方法在先前学习的器官上未表现出显著遗忘，支持了解剖一致性可维持IL各阶段间分布稳定性的假设。
• 在同时考虑旧类别与新类别时，该方法在新器官上的性能始终优于标准微调（FT），表明知识保留效果良好。
• 尽管未同时访问全部数据，该方法在性能上已接近全监督联合训练的上限（例如，MargExc MIA），证明其高效性。
• 结果证实，分布偏移是IL中灾难性遗忘的关键驱动因素，且医学影像的解剖一致性使IL天然适用于该领域。