[论文解读] Hypernet-Ensemble Learning of Segmentation Probability for Medical Image Segmentation with Ambiguous Labels

Sung‐Min Hong, Anna K. Bonkhoff+7 more|arXiv (Cornell University)|Dec 13, 2021

Advanced Neural Network Applications被引用 4

一句话总结

该论文提出一种超网络集成方法，仅使用每幅图像一个模糊标注，以改进3D医学图像分割中的概率估计。通过采用不同参数的Tversky损失来鼓励欠分割和过分割，并结合网络与超网络的集成，该方法生成平滑、直观的概率图，准确反映潜在解剖模糊性，同时保持最先进的二值分割性能。

ABSTRACT

Despite the superior performance of Deep Learning (DL) on numerous segmentation tasks, the DL-based approaches are notoriously overconfident about their prediction with highly polarized label probability. This is often not desirable for many applications with the inherent label ambiguity even in human annotations. This challenge has been addressed by leveraging multiple annotations per image and the segmentation uncertainty. However, multiple per-image annotations are often not available in a real-world application and the uncertainty does not provide full control on segmentation results to users. In this paper, we propose novel methods to improve the segmentation probability estimation without sacrificing performance in a real-world scenario that we have only one ambiguous annotation per image. We marginalize the estimated segmentation probability maps of networks that are encouraged to under-/over-segment with the varying Tversky loss without penalizing balanced segmentation. Moreover, we propose a unified hypernetwork ensemble method to alleviate the computational burden of training multiple networks. Our approaches successfully estimated the segmentation probability maps that reflected the underlying structures and provided the intuitive control on segmentation for the challenging 3D medical image segmentation. Although the main focus of our proposed methods is not to improve the binary segmentation performance, our approaches marginally outperformed the state-of-the-arts. The codes are available at \url{https://github.com/sh4174/HypernetEnsemble}.

研究动机与目标

• 解决深度学习中因医学影像固有标注模糊性导致的过度自信、极化分割概率的问题。
• 仅使用每幅图像一个模糊标注，改进分割概率图估计，避免依赖多份人工标注。
• 通过可调节的概率阈值，为用户提供对分割结果的直观控制。
• 通过统一的超网络架构学习多样化的Tversky损失配置，降低集成训练的计算成本。
• 在提升概率图质量的同时，保持或略微改善二值分割性能。

提出的方法

• 使用不同超参数的Tversky损失训练多个网络，以分别鼓励欠分割、过分割或平衡分割。
• 通过对其预测分割图进行边缘化，集成这些网络的输出，以估计更具代表性的概率图。
• 引入一种超网络架构，学习针对不同Tversky损失配置的主分割网络权重，减少训练多个完整网络的需求。
• 实现统一的超网络集成，使不同Tversky损失设置间共享参数，显著降低训练成本。
• 训练超网络根据单一输入条件（Tversky损失超参数）生成主网络权重，实现在不同输出下的高效推理。
• 将该方法应用于基于多所医院临床级DWI数据的3D急性脑卒中病灶分割。

实验结果

研究问题

• RQ1 仅使用每幅图像一个模糊标注，是否可以在不牺牲二值分割性能的前提下改进分割概率图？
• RQ2 在存在标注模糊性的情况下，采用不同Tversky损失的网络集成如何改善分割概率图的估计？
• RQ3 基于超网络的集成方法是否能降低训练多个网络的计算成本，同时保持概率图估计的质量？
• RQ4 所提出方法在多大程度上可通过概率阈值化实现对分割结果的直观用户控制？
• RQ5 在概率图平滑性与不确定性表征方面，该方法与当前最先进方法相比表现如何？

主要发现

• 所提出的带可变Tversky损失的ResUNet集成方法取得了最高的综合Dice分数（0.82）和ROC-AUC（0.884），优于当前最先进方法。
• 超网络集成方法在平衡准确率（0.891）和召回率（0.783）方面表现最佳，ROC-AUC为第二高（0.869）。
• 所提方法的Dice分数在不同概率阈值下平滑变化，表明对欠分割和过分割具有直观控制能力。
• 所提方法的ROC曲线显示概率估计更不极化，FPR-TPR点分布更密集，反映出更校准的概率图。
• 超网络方法将训练时间缩短至13 GPU小时，显著低于完整集成方法，同时保持了具有竞争力的性能。
• 估计的概率图成功反映了模糊区域（如部分容积效应、病灶扩散），在不确定区域分配接近0.5的概率，视觉对比中清晰可见。