[论文解读] FocalMix: Semi-Supervised Learning for 3D Medical Image Detection

Dong Wang, Yuan Zhang+2 more|arXiv (Cornell University)|Mar 20, 2020

Radiomics and Machine Learning in Medical Imaging参考文献 34被引用 14

一句话总结

FocalMix 是一种用于 3D 医疗图像检测的新型半监督学习框架，通过引入软目标聚焦损失、锚点级集成预测和双水平 MixUp 增强，将现代半监督学习（SSL）技术——特别是 MixMatch——适配于病灶检测。该方法仅使用 400 张未标注的 CT 扫描图像，即实现了相较于监督基线方法最高达 17.3% 的相对性能提升。

ABSTRACT

Applying artificial intelligence techniques in medical imaging is one of the most promising areas in medicine. However, most of the recent success in this area highly relies on large amounts of carefully annotated data, whereas annotating medical images is a costly process. In this paper, we propose a novel method, called FocalMix, which, to the best of our knowledge, is the first to leverage recent advances in semi-supervised learning (SSL) for 3D medical image detection. We conducted extensive experiments on two widely used datasets for lung nodule detection, LUNA16 and NLST. Results show that our proposed SSL methods can achieve a substantial improvement of up to 17.3% over state-of-the-art supervised learning approaches with 400 unlabeled CT scans.

研究动机与目标

• 通过利用大量未标注的 CT 扫描图像，解决 3D 医疗图像标注成本高昂的问题。
• 将以往主要聚焦于分类任务的现代半监督学习（SSL）方法，适配至更复杂的 3D 病灶检测任务。
• 克服在检测任务中应用 SSL 的关键挑战，包括聚焦损失中的硬标签处理、边界框的伪标签生成，以及医学影像中有效的数据增强。
• 证明即使标注数据有限，SSL 也能显著提升检测性能，并在大规模标注数据集存在时仍保持有效性。

提出的方法

• 提出一种广义聚焦损失，支持在类别分布偏斜情况下的软目标训练标签，从而实现与 SSL 框架的兼容性。
• 引入一种锚点级集成策略，通过聚合旋转和翻转图像块的预测结果，为未标注数据生成鲁棒的伪标签。
• 在图像和目标两个层面同时应用 MixUp 增强，以保留 3D 医疗图像中的空间和实例级结构。
• 以改进的 MixMatch 框架为基础，整合一致性正则化和基于置信度的伪标签生成，用于未标注数据。
• 采用两阶段训练流程：首先在标注数据上进行预训练，然后结合所提出的组件，对未标注数据进行联合优化。
• 支持迁移至其他 SSL 框架（如 UDA），仅需极少修改即可适配。

实验结果

研究问题

• RQ1 半监督学习能否有效应用于 3D 医疗图像检测这一以往主要局限于分类和分割的任务？
• RQ2 如何将常用于目标检测的聚焦损失推广，以支持在 SSL 中使用的软标签？
• RQ3 在检测任务中，生成边界框可靠伪标签的有效策略是什么？
• RQ4 如何有意义地适配数据增强方法，以提升 3D 医疗图像检测中 SSL 的泛化能力？
• RQ5 当已有大规模标注数据集时，所提出的方法是否仍能保持性能增益？

主要发现

• 当仅使用 LUNA16 数据集中 400 张未标注的 CT 扫描图像进行训练时，FocalMix 在 CPM 分数上相较最先进监督方法实现了 17.3% 的相对提升。
• 当使用 LUNA16 中全部 533 张标注扫描图像和 NLST 中 3,000 张未标注扫描图像时，该方法将全监督基线的 CPM 分数从 89.2% 提升至 90.7%。
• 消融实验表明，软目标损失、锚点级集成和双水平 MixUp 每一组件均对性能提升有显著贡献。
• 即使在使用大规模标注数据集时，模型仍能保持一致的性能提升，展现出良好的鲁棒性和可扩展性。
• 所提出的框架具有良好的泛化能力，可仅通过极少修改即适配至其他 SSL 方法（如 UDA）