[论文解读] End-to-end detection-segmentation network with ROI convolution

Zichen Zhang, Min Tang+4 more|arXiv (Cornell University)|Jan 8, 2018

Advanced Neural Network Applications参考文献 13被引用 6

一句话总结

该论文提出了一种基于ROI卷积的端到端检测-分割网络，用于提升超声图像中小目标的语义分割性能。通过集成区域建议网络（RPN）并用可微分的ROI卷积替代ROI池化，该方法实现了检测与分割任务的联合训练，在一项具有挑战性的小目标分割任务中取得了38.6%的Dice分数，显著优于FCN-32s（22.3%）和U-Net（4.9%）。

ABSTRACT

We propose an end-to-end neural network that improves the segmentation accuracy of fully convolutional networks by incorporating a localization unit. This network performs object localization first, which is then used as a cue to guide the training of the segmentation network. We test the proposed method on a segmentation task of small objects on a clinical dataset of ultrasound images. We show that by jointly learning for detection and segmentation, the proposed network is able to improve the segmentation accuracy compared to only learning for segmentation. Code is publicly available at https://github.com/vincentzhang/roi-fcn.

研究动机与目标

• 提升医学超声图像中小目标的语义分割精度，其中类别不平衡和低分辨率会限制性能表现。
• 解决全卷积网络（FCNs）在定位和分割小目标时的局限性，原因在于背景主导和特征分辨率损失。
• 通过利用区域建议作为先验，将目标检测融入分割任务，以引导特征学习。
• 通过引入可微分的、图像级的ROI卷积层，消除对区域处理或ROI池化的依赖。
• 实现统一检测-分割网络的端到端训练，联合优化定位与像素级分类任务。

提出的方法

• 网络以VGG16作为主干特征提取器，随后接一个区域建议网络（RPN），生成以边界框形式表示的对象建议（ROIs）。
• 提出一种新型ROI卷积层，可在单次前向传播中对所有ROIs直接应用卷积操作，替代传统的ROI池化，同时保留空间分辨率。
• ROI卷积层具有可微性，可通过反向传播进行训练，从而实现检测与分割任务的端到端优化。
• 分割头处理来自ROI卷积层的特征，预测每个像素的标签，损失函数在检测（RPN）与分割（分割头）分支之间联合计算。
• 通过同时对所有ROIs应用卷积操作，避免了逐区域处理，降低了计算开销并保留了细粒度的空间细节。
• 模型通过多任务损失进行训练，结合RPN分类与回归损失以及分割交叉熵损失，实现联合优化。

实验结果

研究问题

• RQ1 将目标检测作为定位先验是否能提升医学超声图像中小目标的分割精度？
• RQ2 用可微分的ROI卷积层替代ROI池化是否能实现更好的特征保留并提升分割性能？
• RQ3 端到端可训练的检测-分割网络是否能在小目标分割任务中超越标准的FCN和U-Net架构？
• RQ4 RPN生成的ROIs在存在高类别不平衡的情况下，如何影响分割特征的学习？
• RQ5 与逐区域处理相比，通过ROI卷积实现图像级处理在多大程度上减少了计算开销？

主要发现

• 所提出的RPN-FCN方法在相同测试集上取得了38.6%的Dice分数，显著优于FCN-32s（22.3%）和U-Net（4.9%）。
• 在未使用检测损失的基线RPN-FCN（FCN-noPool5-scratch）中，Dice分数仅为22.8%，证实了检测任务与分割任务联合训练可提升分割性能。
• RPN-FCN模型在具有清晰髋臼结构的切片上生成了平滑且连贯的分割掩码，而U-Net完全未能检测到任何正样本区域。
• 与标准FCN相比，ROI卷积的使用保留了更高分辨率的特征，减少了对激进上采样的依赖，从而改善了小目标的表征能力。
• 该方法通过聚焦于相关区域，有效缓解了类别不平衡的影响，如召回率从U-Net的6.3%提升至55.1%。
• 可视化结果表明，网络能够准确地定位髋臼区域，并在低对比度的超声图像中生成有意义的分割输出。