[论文解读] BoxNet: Deep Learning Based Biomedical Image Segmentation Using Boxes Only Annotation

Lin Yang, Yizhe Zhang+6 more|arXiv (Cornell University)|Jun 2, 2018

AI in cancer detection参考文献 18被引用 31

一句话总结

本文提出BoxNet，一种弱监督深度学习方法，用于生物医学图像分割，仅使用边界框标注，显著减少了标注工作量。通过结合图搜索与深度学习，对倾斜边界框和极端点线索提供的粗略分割进行优化，BoxNet在使用远少于全监督方法的标注时间下，实现了几乎与全监督方法相当的分割精度。

ABSTRACT

In recent years, deep learning (DL) methods have become powerful tools for biomedical image segmentation. However, high annotation efforts and costs are commonly needed to acquire sufficient biomedical training data for DL models. To alleviate the burden of manual annotation, in this paper, we propose a new weakly supervised DL approach for biomedical image segmentation using boxes only annotation. First, we develop a method to combine graph search (GS) and DL to generate fine object masks from box annotation, in which DL uses box annotation to compute a rough segmentation for GS and then GS is applied to locate the optimal object boundaries. During the mask generation process, we carefully utilize information from box annotation to filter out potential errors, and then use the generated masks to train an accurate DL segmentation network. Extensive experiments on gland segmentation in histology images, lymph node segmentation in ultrasound images, and fungus segmentation in electron microscopy images show that our approach attains superior performance over the best known state-of-the-art weakly supervised DL method and is able to achieve (1) nearly the same accuracy compared to fully supervised DL methods with far less annotation effort, (2) significantly better results with similar annotation time, and (3) robust performance in various applications.

研究动机与目标

• 降低生物医学图像分割中训练深度学习模型所需的高成本和高工作量标注。
• 解决现有弱监督方法依赖正交边界框而无法处理非正交、复杂生物医学结构的局限性。
• 开发一种利用倾斜边界框和极端点标注的方法，提升分割精度，同时无需完整实例掩码。
• 仅使用框级别标注，实现与全监督深度学习模型相当的性能。
• 实现在组织病理学、超声和电子显微镜等多种生物医学成像模态下的鲁棒、可泛化的分割。

提出的方法

• 提出一种新型标注界面，每个物体仅需六次点击：两次用于方向（中心点和方向），四次用于物体边界上的极端点，实现高效倾斜边界框标注。
• 利用边界框标注和极端点线索生成具有正确拓扑结构的粗略分割，作为图搜索（GS）优化对象边界的输入。
• 在训练图像上应用图搜索（GS）以优化粗略分割，利用边界框和极端点提供的拓扑与边界线索，避免错误。
• 在GS优化后的掩码上训练第二个全卷积网络（FCN），以学习准确且可泛化的分割结果，从而在测试数据上无需后处理。
• 通过强制掩码生成与边界框和极端点约束的一致性，过滤潜在错误，提升鲁棒性。
• 将优化后的掩码集成到弱监督训练流程中，实现仅基于框标注的端到端学习。

实验结果

研究问题

• RQ1 当仅使用边界框标注进行训练时，弱监督深度学习方法是否能达到与全监督方法相当的分割精度？
• RQ2 在具有任意物体方向的生物医学图像中，使用倾斜边界框与极端点标注相比正交边界框，能否显著提升分割性能？
• RQ3 在训练阶段应用图搜索（GS），而非推理阶段后处理，是否能显著提高分割精度和泛化能力？
• RQ4 该方法在保持高分割精度的同时，能在多大程度上减少不同生物医学成像应用中的标注时间？
• RQ5 该方法在组织病理学、超声和电子显微镜图像中复杂物体结构和模糊边界情况下的鲁棒性如何？

主要发现

• BoxNet在电子显微镜（EM）和组织病理学数据集上的分割性能几乎与全监督深度学习方法完全一致，F1分数差异小于1%。
• 在三个数据集上，BoxNet均优于已知的最佳弱监督方法[7]（Box^i）：H&E染色组织病理学中的腺体分割、超声中的淋巴结分割以及电子显微镜中的真菌分割。
• 在相似标注时间下，BoxNet产生的分割结果显著优于Box^i，证明其在标注效率和精度方面具有优势。
• 与仅使用正交边界框相比，采用倾斜边界框和极端点线索可使粗略分割的F1分数提升约1%，接近完整标注的性能。
• 在训练阶段应用图搜索（而非推理阶段后处理）可获得更准确、更稳定的分割结果，在所有数据集上均一致优于“粗略分割 + GS”基线。
• 该框架消除了测试图像上后处理的需求，提升了推理速度，并实现了无需额外GS步骤的端到端部署。