[论文解读] Multi-organ Segmentation over Partially Labeled Datasets with Multi-scale Feature Abstraction

Xi Fang, Pingkun Yan|arXiv (Cornell University)|Jan 1, 2020

Advanced Neural Network Applications参考文献 54被引用 8

一句话总结

该论文提出PIPO-FAN，一种基于2D U-Net架构的新型网络，通过多尺度特征抽象实现使用部分标注数据集的多器官分割。其通过等深卷积和自适应加权集成金字塔输入与输出特征，在单次推理下实现最先进性能，每张切片仅需0.04秒（单张GPU）。

ABSTRACT

Shortage of fully annotated datasets has been a limiting factor in developing deep learning based image segmentation algorithms and the problem becomes more pronounced in multi-organ segmentation. In this paper, we propose a unified training strategy that enables a novel multi-scale deep neural network to be trained on multiple partially labeled datasets for multi-organ segmentation. In addition, a new network architecture for multi-scale feature abstraction is proposed to integrate pyramid input and feature analysis into a U-shape pyramid structure. To bridge the semantic gap caused by directly merging features from different scales, an equal convolutional depth mechanism is introduced. Furthermore, we employ a deep supervision mechanism to refine the outputs in different scales. To fully leverage the segmentation features from all the scales, we design an adaptive weighting layer to fuse the outputs in an automatic fashion. All these mechanisms together are integrated into a Pyramid Input Pyramid Output Feature Abstraction Network (PIPO-FAN). Our proposed method was evaluated on four publicly available datasets, including BTCV, LiTS, KiTS and Spleen, where very promising performance has been achieved. The source code of this work is publicly shared at https://github.com/DIAL-RPI/PIPO-FAN for others to easily reproduce the work and build their own models with the introduced mechanisms.

研究动机与目标

• 解决多器官分割中全标注医学影像数据集有限的挑战。
• 开发统一的训练策略，利用多个部分标注数据集以提升泛化能力。
• 通过分层整合多尺度输入与输出特征，增强深度网络的特征抽象能力。
• 在保持或提升分割精度的同时，降低训练与推理成本，相较多步3D方法更具优势。
• 实现对异构数据集（标注覆盖度各异）的端到端训练，提升临床应用的广泛性。

提出的方法

• 提出一种具有U形架构的金字塔输入与输出（PIPO）特征抽象网络（PIPO-FAN），用于多器官分割。
• 引入多尺度输入处理模块，对输入图像的不同尺度层级并行应用卷积操作。
• 采用等深卷积机制，对齐各尺度的特征图，减少跳跃连接中的语义差距。
• 在解码器多个阶段应用深度监督，以在不同尺度上优化预测结果。
• 设计基于注意力机制的自适应加权层，根据特征重要性动态融合多尺度输出。
• 采用统一策略，在四个公开数据集（BTCV、LiTS、KiTS、Spleen）上对部分标注数据进行端到端训练。

实验结果

研究问题

• RQ1 在U-Net架构中引入多尺度特征抽象是否能提升在部分标注医学影像数据集上的分割精度？
• RQ2 通过等深卷积整合金字塔输入与输出特征，如何减少跳跃连接中的语义差距？
• RQ3 使用注意力机制进行自适应特征融合，对多器官分割性能有何影响？
• RQ4 单个2D网络能否在计算成本更低的前提下，实现与多步3D网络相当甚至更优的性能？
• RQ5 在多个部分标注数据集上进行训练，如何提升多器官分割中模型的鲁棒性与泛化能力？

主要发现

• PIPO-FAN在LiTS挑战测试集上达到96.1%的Dice分数，与表现最佳的方法（DeepX）持平，且仅需单次推理。
• 在单张Titan Xp GPU上，模型每张CT切片仅需0.04秒即可完成分割，是目前报告中速度最快且性能相当或更优的方法。
• 该方法在对称表面距离（SSD: 1.413 vs. 1.450）和平均SSD（24.408 vs. 27.118）上均优于现有2D与3D网络。
• 使用五个输入与输出尺度时性能最佳，Dice分数从3个尺度时的94.5%提升至5个尺度时的95.6%，表明上下文特征抽象能力得到增强。
• 在多个部分标注数据集上采用统一训练策略，显著提升了模型在不同解剖区域的鲁棒性与泛化能力。
• 源代码已公开于GitHub，支持可复现性，并可扩展至其他成像模态与数据集。