[论文解读] Enforcing Mutual Consistency of Hard Regions for Semi-supervised Medical Image Segmentation.

Yicheng Wu, Zongyuan Ge+5 more|arXiv (Cornell University)|Sep 21, 2021

Advanced Neural Network Applications参考文献 29被引用 4

一句话总结

该论文提出MC-Net+，一种半监督医学图像分割模型，通过在具有不同上采样策略的多个解码器之间强制执行相互一致性，提升对未标记困难区域的学习效果。通过利用解码器输出间的统计差异来识别不确定性，并在预测与软伪标签之间施加相互一致性约束，MC-Net+在三个公开医学影像数据集上实现了最先进性能。

ABSTRACT

In this paper, we proposed a novel mutual consistency network (MC-Net+) to effectively exploit the unlabeled hard regions for semi-supervised medical image segmentation. The MC-Net+ model is motivated by the observation that deep models trained with limited annotations are prone to output highly uncertain and easily mis-classified predictions in the ambiguous regions (e.g. adhesive edges or thin branches) for the image segmentation task. Leveraging these region-level challenging samples can make the semi-supervised segmentation model training more effective. Therefore, our proposed MC-Net+ model consists of two new designs. First, the model contains one shared encoder and multiple sightly different decoders (i.e. using different up-sampling strategies). The statistical discrepancy of multiple decoders' outputs is computed to denote the model's uncertainty, which indicates the unlabeled hard regions. Second, a new mutual consistency constraint is enforced between one decoder's probability output and other decoders' soft pseudo labels. In this way, we minimize the model's uncertainty during training and force the model to generate invariant and low-entropy results in such challenging areas of unlabeled data, in order to learn a generalized feature representation. We compared the segmentation results of the MC-Net+ with five state-of-the-art semi-supervised approaches on three public medical datasets. Extension experiments with two common semi-supervised settings demonstrate the superior performance of our model over other existing methods, which sets a new state of the art for semi-supervised medical image segmentation.

研究动机与目标

• 为解决在半监督医学图像分割中，薄分支和粘连边缘等模糊解剖区域的预测不确定性和误分类问题。
• 通过有效利用通常在标准半监督学习中被忽略的未标记困难区域，提升模型泛化能力。
• 通过一种新颖的跨多个具有不同上采样策略的解码器的相互一致性约束，降低在挑战性区域的模型不确定性。
• 开发一种训练框架，鼓励在困难未标记区域中生成低熵、不变的预测，从而获得更鲁棒的特征表示。

提出的方法

• 该模型使用共享编码器和多个仅在上采样策略上不同的解码器，为同一输入生成多样化预测。
• 通过计算多个解码器输出之间的统计差异（如方差或差异度量）来量化模型不确定性。
• 在某一解码器的概率输出与其它解码器输出生成的软伪标签之间施加相互一致性约束。
• 该约束可最小化困难区域中的预测不一致，促使模型在所有解码器中生成一致且低熵的预测。
• 训练目标结合了标准分割损失与相互一致性损失，以联合优化准确率与不确定性降低。
• 该框架端到端训练，适用于医学影像中各种半监督学习设置。

实验结果

研究问题

• RQ1 利用未标记困难区域中的不确定性是否能提升半监督医学图像分割性能？
• RQ2 在具有不同上采样策略的多个解码器之间强制执行相互一致性，如何降低模糊解剖区域中的预测不确定性？
• RQ3 与标准伪标签方法相比，所提出的相互一致性约束是否能生成更鲁棒和泛化能力更强的特征表示？
• RQ4 MC-Net+在公开医学图像分割基准上相较于现有最先进方法的性能提升程度如何？

主要发现

• MC-Net+在三个公开医学图像分割数据集上实现了最先进性能，优于五种现有半监督方法。
• 通过在解码器之间强制执行相互一致性，该模型显著降低了在薄分支和粘连边缘等困难区域的预测不确定性。
• 采用具有不同上采样策略的多个解码器，可通过其输出间的统计差异更有效地识别模糊区域。
• 扩展实验验证了MC-Net+在两种常见半监督学习设置下的鲁棒性与泛化能力。
• 相互一致性约束有效降低了未标记困难区域预测的熵，从而生成更可靠的伪标签。
• 即使在标注数据有限的情况下，该模型也通过在挑战性解剖结构中学习到不变表示，展现出卓越的泛化能力。