[论文解读] A Teacher-Student Framework for Semi-supervised Medical Image Segmentation From Mixed Supervision

Liyan Sun, Jianxiong Wu+4 more|arXiv (Cornell University)|Oct 23, 2020

Medical Imaging and Analysis参考文献 24被引用 16

一句话总结

该论文提出了一种教师-学生框架，用于半监督医学图像分割，通过利用层次化的器官到病灶注意力模块生成高质量伪标签，实现混合监督——部分密集标注与松散边界框。学生模型结合这些伪标签、稀疏的人工标注以及基于深度解码器的定位分支，在LiTS数据集上实现了最先进性能，对边界框噪声具有鲁棒性，且在某些数据划分下甚至超越了全监督基线。

ABSTRACT

Standard segmentation of medical images based on full-supervised convolutional networks demands accurate dense annotations. Such learning framework is built on laborious manual annotation with restrict demands for expertise, leading to insufficient high-quality labels. To overcome such limitation and exploit massive weakly labeled data, we relaxed the rigid labeling requirement and developed a semi-supervised learning framework based on a teacher-student fashion for organ and lesion segmentation with partial dense-labeled supervision and supplementary loose bounding-box supervision which are easier to acquire. Observing the geometrical relation of an organ and its inner lesions in most cases, we propose a hierarchical organ-to-lesion (O2L) attention module in a teacher segmentor to produce pseudo-labels. Then a student segmentor is trained with combinations of manual-labeled and pseudo-labeled annotations. We further proposed a localization branch realized via an aggregation of high-level features in a deep decoder to predict locations of organ and lesion, which enriches student segmentor with precise localization information. We validated each design in our model on LiTS challenge datasets by ablation study and showed its state-of-the-art performance compared with recent methods. We show our model is robust to the quality of bounding box and achieves comparable performance compared with full-supervised learning methods.

研究动机与目标

• 通过利用部分密集标签和易于获取的边界框，减少医学图像分割中对昂贵的像素级密集标注的依赖。
• 解决弱监督边界框标注在器官和病灶分割中形状与定位信息有限的挑战。
• 开发一种专为医学图像设计的半监督学习框架，利用一致的解剖先验（如病灶生长于器官内部）。
• 通过整合聚合高层特征以实现精确空间引导的定位分支，提升小目标分割（如病灶）的性能。

提出的方法

• 教师网络中的层次化器官到病灶（O2L）注意力模块建模器官与其内部病灶之间的空间关系，以优化伪标签。
• 教师利用O2L注意力机制为弱监督数据生成伪分割掩码，提升形状一致性和定位精度。
• 学生网络在人工标注数据与教师生成的伪标签数据组合上进行训练，实现知识蒸馏。
• 学生模型中的定位分支聚合解码器的深层特征，以预测目标位置，提升对小结构（如病灶）的定位精度。
• 通过外轮廓点检测与外接矩形生成，将边界框标注转换为伪标签，并使用随机扰动模拟真实世界中的标注噪声。
• 在不同强/弱数据比例下验证框架性能，并评估对边界框扰动的鲁棒性，Dice分数为主要评估指标。

实验结果

研究问题

• RQ1 教师-学生框架能否有效利用混合监督（部分密集标签与松散边界框）实现半监督医学图像分割？
• RQ2 如何建模解剖先验（如病灶位于器官内）以提升伪标签质量和分割精度？
• RQ3 基于深层特征聚合的定位分支在弱监督下对小目标分割的性能提升程度如何？
• RQ4 该模型对临床实践中常见的噪声或不精确边界框标注的鲁棒性如何？
• RQ5 当标注数据有限时，混合监督的半监督学习能否超越全监督基线？

主要发现

• 在边界框扰动下，肝脏分割的Dice全局分数达92.5%，病例级Dice分数达92.2%，表明对标注噪声具有强鲁棒性。
• 对于病灶分割，即使在小病灶尺寸下，Dice全局分数为76.5%，病例级Dice分数为59.6%，性能下降极小，表现稳健。
• 当强数据与弱数据比例超过70:20时，半监督模型性能超越全监督基线（黄金标准），表明高质量伪标签可显著提升性能。
• 消融实验验证了层次化O2L注意力模块与定位分支在提升分割精度方面的有效性。
• 模型在多种数据划分下保持高性能，对边界框质量的现实变化具有鲁棒性，支持临床实际部署。