[论文解读] More unlabelled data or label more data? A study on semi-supervised laparoscopic image segmentation

Yunguan Fu, Maria Robu+7 more|arXiv (Cornell University)|Aug 20, 2019

Advanced Neural Network Applications参考文献 8被引用 4

一句话总结

本研究评估了基于均值教师框架的半监督学习在腹腔镜肝脏分割中的应用，表明添加未标注数据可实现与标注更多数据相当的分割精度。定量结果表明，即使不增加标注数据，使用未标注数据进行半监督训练也能使性能超越监督学习，为临床数据效率提供了实用的权衡方案。

ABSTRACT

Improving a semi-supervised image segmentation task has the option of adding more unlabelled images, labelling the unlabelled images or combining both, as neither image acquisition nor expert labelling can be considered trivial in most clinical applications. With a laparoscopic liver image segmentation application, we investigate the performance impact by altering the quantities of labelled and unlabelled training data, using a semi-supervised segmentation algorithm based on the mean teacher learning paradigm. We first report a significantly higher segmentation accuracy, compared with supervised learning. Interestingly, this comparison reveals that the training strategy adopted in the semi-supervised algorithm is also responsible for this observed improvement, in addition to the added unlabelled data. We then compare different combinations of labelled and unlabelled data set sizes for training semi-supervised segmentation networks, to provide a quantitative example of the practically useful trade-off between the two data planning strategies in this surgical guidance application.

研究动机与目标

• 评估增加标注数据与未标注数据对半监督腹腔镜肝脏分割性能的影响。
• 将均值教师训练策略的贡献与额外添加未标注数据的效果分离开来。
• 为临床半监督学习应用中的数据规划决策提供定量依据。
• 评估在真实手术影像场景中，未标注数据是否可实现与标注更多数据相当的性能。

提出的方法

• 采用基于U-Net的分割网络，结合多尺度输入金字塔和$L_2$-正则化的软Dice损失函数，用于二值分割。
• 采用均值教师框架，包含两个相同的网络：学生网络具有可训练权重，教师网络具有通过动量更新的权重。
• 应用组合损失：在标注数据上使用监督损失$L_l$，在未标注数据上使用学生与教师预测之间的一致性损失$L_u$，并通过超参数$\lambda$进行平衡。
• 使用总损失$L_s = L_l + \lambda L_u$通过反向传播训练学生网络，其中$L_u$惩罚同一未标注输入在不同扰动视图下的预测不一致性。
• 通过随机噪声注入($\eta$)进行数据增强，以生成用于一致性正则化的多样化视图。
• 在独立测试集上，通过Dice分数和Hausdorff距离评估不同标注与未标注数据规模组合下的性能。

实验结果

研究问题

• RQ1 与监督学习相比，基于均值教师框架的半监督学习是否能提高腹腔镜肝脏分割的精度？
• RQ2 均值教师方法的训练策略在性能提升中的贡献程度，是否超出仅添加未标注数据的效应？
• RQ3 在分割性能方面，获取更多标注数据与更多未标注数据之间的定量权衡关系如何？
• RQ4 在大量未标注数据上训练的半监督模型，是否能实现或超越在更多标注数据上训练的监督模型的性能？

主要发现

• 均值教师模型的中位Dice分数达到0.9646，显著高于监督基线的0.9594（p = 9.27e-28）。
• 均值教师模型将中位Hausdorff距离从148.23降低至81.49，表明边界定位性能得到改善（p = 4.40e-07）。
• 即使未使用任何未标注数据，均值教师模型仍优于监督模型，表明训练策略本身即可提升性能。
• 在使用100%未标注数据和50%标注数据的情况下，均值教师模型的Dice分数达到0.9611，超过使用100%标注数据的监督模型的0.9594。
• 性能并未随着未标注数据增加而单调提升，表明可能存在术中数据相关性干扰或超参数调优不足。
• 结果首次为真实患者数据提供了定量证据，表明在临床半监督分割任务中，未标注数据可替代标注数据。