[论文解读] DoDNet: Learning to segment multi-organ and tumors from multiple partially labeled datasets

Jianpeng Zhang, Yutong Xie+2 more|arXiv (Cornell University)|Nov 20, 2020

Advanced Neural Network Applications参考文献 37被引用 8

一句话总结

DoDNet 是一种动态按需网络，通过使用共享编码器-解码器架构与任务条件化的自适应分割头，从部分标注的 CT 数据集中分割多个腹部器官和肿瘤。该方法在七个分割任务上达到最先进性能，并通过在大规模 MOTS 数据集上预训练，实现了向下游标注受限任务的强迁移学习能力。

ABSTRACT

Due to the intensive cost of labor and expertise in annotating 3D medical images at a voxel level, most benchmark datasets are equipped with the annotations of only one type of organs and/or tumors, resulting in the so-called partially labeling issue. To address this, we propose a dynamic on-demand network (DoDNet) that learns to segment multiple organs and tumors on partially labeled datasets. DoDNet consists of a shared encoder-decoder architecture, a task encoding module, a controller for generating dynamic convolution filters, and a single but dynamic segmentation head. The information of the current segmentation task is encoded as a task-aware prior to tell the model what the task is expected to solve. Different from existing approaches which fix kernels after training, the kernels in dynamic head are generated adaptively by the controller, conditioned on both input image and assigned task. Thus, DoDNet is able to segment multiple organs and tumors, as done by multiple networks or a multi-head network, in a much efficient and flexible manner. We have created a large-scale partially labeled dataset, termed MOTS, and demonstrated the superior performance of our DoDNet over other competitors on seven organ and tumor segmentation tasks. We also transferred the weights pre-trained on MOTS to a downstream multi-organ segmentation task and achieved state-of-the-art performance. This study provides a general 3D medical image segmentation model that has been pre-trained on a large-scale partially labelled dataset and can be extended (after fine-tuning) to downstream volumetric medical data segmentation tasks. The dataset and code areavailableat: https://git.io/DoDNet

研究动机与目标

• 解决在因标注成本高昂而仅能获得部分标注数据集时，3D 医学影像中多器官和肿瘤分割的挑战。
• 克服现有多网络和多头方法在部分标注数据上效率低下且缺乏灵活性的问题。
• 开发一种单一、高效且灵活的模型，能够根据任务和输入上下文自适应地生成分割滤波器。
• 构建一个大规模部分标注数据集（MOTS），以支持下游分割任务的预训练和迁移学习。
• 展示 DoDNet 在真实世界中标注受限的医学影像场景下的泛化能力和迁移能力。

提出的方法

• 提出一种共享编码器-解码器架构，配备单一动态分割头，可实时生成特定任务的卷积滤波器。
• 引入任务编码模块，将任务特定先验嵌入其中，以条件化动态头的滤波器生成。
• 设计一个轻量级控制器网络，基于输入图像特征和任务嵌入生成动态卷积核。
• 在多个部分标注数据集上端到端训练模型，其中每个数据集仅包含一种器官或肿瘤类型的标注。
• 采用多任务学习策略，每批次仅更新活跃头，最大限度减少计算浪费。
• 在大规模 MOTS 数据集（包含 920 例部分标注的腹部 CT 病例）上对 DoDNet 进行预训练，随后在下游任务上微调。

实验结果

研究问题

• RQ1 单一深度学习模型能否有效从多个部分标注数据集中学习分割多种器官和肿瘤？
• RQ2 与固定或多头架构相比，动态任务条件化分割头在效率和性能方面有何提升？
• RQ3 在大规模部分标注数据集（如 MOTS）上预训练的模型，能在多大程度上泛化到标注有限的下游任务？
• RQ4 所提出的动态头机制是否相比多网络或多头替代方案具备更好的推理速度和参数效率？
• RQ5 DoDNet 是否能在无需完全标注数据的情况下，在多样化的器官和肿瘤分割基准上实现最先进性能？

主要发现

• DoDNet 在 MOTS 基准的七个器官和肿瘤分割任务中均达到最先进性能，其准确率和推理速度均优于现有方法。
• 该模型的动态头在推理速度上优于多头网络，且在重复推理过程中计算开销可忽略不计。
• 在 BCV 多器官分割任务上微调时，MOTS 数据集上的预训练显著提升了收敛速度和最终性能。
• 在 BCV 测试集上，经 MOTS 预训练的 DoDNet 平均 Dice 评分达到 86.44%，优于从零开始训练（85.30%），并在表面距离和豪斯多夫距离指标上优于其他最先进方法。
• 预训练的 DoDNet 将平均表面距离从 1.46 降低至 1.17，豪斯多夫距离从 19.67 降低至 15.62，表面距离指标达到最优，Dice 评分排名第二。
• 使用 MOTS 预训练权重进行迁移学习，在 BCV 挑战中显著提升了性能，证明了其在未见且标注受限任务上的强泛化能力。