[论文解读] Going to Extremes: Weakly Supervised Medical Image Segmentation

Holger R. Roth, Dong Yang+3 more|arXiv (Cornell University)|Sep 25, 2020

Advanced Neural Network Applications参考文献 3被引用 4

一句话总结

本文提出了一种弱监督3D医学图像分割方法，仅需在每个解剖维度上点击极端点（每个结构一个）作为最小用户输入。该方法利用随机游走算法生成初始噪声分割结果，随后通过迭代训练全卷积网络（FCN）进行优化，该网络结合了基于点的损失函数与注意力机制，最终在六个多样化的医学影像任务中实现了接近全监督方法的性能，甚至在MO-Gallbladder数据集上超越了全监督基线结果。

ABSTRACT

Medical image annotation is a major hurdle for developing precise and robust machine learning models. Annotation is expensive, time-consuming, and often requires expert knowledge, particularly in the medical field. Here, we suggest using minimal user interaction in the form of extreme point clicks to train a segmentation model which, in effect, can be used to speed up medical image annotation. An initial segmentation is generated based on the extreme points utilizing the random walker algorithm. This initial segmentation is then used as a noisy supervision signal to train a fully convolutional network that can segment the organ of interest, based on the provided user clicks. Through experimentation on several medical imaging datasets, we show that the predictions of the network can be refined using several rounds of training with the prediction from the same weakly annotated data. Further improvements are shown utilizing the clicked points within a custom-designed loss and attention mechanism. Our approach has the potential to speed up the process of generating new training datasets for the development of new machine learning and deep learning-based models for, but not exclusively, medical image analysis.

研究动机与目标

• 通过将用户交互减少至仅在器官边界上点击极端点，降低医学图像标注的成本与复杂性。
• 开发一种弱监督学习框架，利用最小用户输入训练高精度的3D分割模型。
• 通过弱标注数据预测结果的迭代优化，提升分割性能。
• 将用户提供的极端点信息整合至损失函数与注意力机制中，引导网络学习，同时不增加标注负担。
• 在多种3D医学影像任务中评估该方法，并与全监督及先前的弱监督方法进行性能比较。

提出的方法

• 该方法首先由用户定义极端点点击——每个空间维度一个（例如，最左侧、最右侧、前侧、后侧、头侧、尾侧）——在3D医学图像上进行操作。
• 利用应用于极端点的随机游走算法生成初始分割结果，产生一个噪声伪标签。
• 该伪标签用于监督全卷积网络（FCN）在器官分割任务中的训练。
• 网络通过迭代方式训练，使用上一轮预测结果作为新的弱监督信号。
• 提出一种新型基于点的损失函数，将极端点的空间坐标直接嵌入损失函数，以引导网络学习。
• 引入一种注意力机制，利用极端点的位置信息调制特征图，增强对相关区域的关注。

实验结果

研究问题

• RQ1 仅依靠极端点点击（无需密集标注）是否足以训练出高性能的3D医学图像分割模型？
• RQ2 利用模型自身预测结果进行迭代优化，如何在多轮训练中逐步提升分割性能？
• RQ3 与标准弱监督基线相比，将极端点信息整合至损失函数与注意力机制中，能在多大程度上提升模型性能？
• RQ4 所提出的方法是否能在真实世界的医学影像任务中实现与全监督训练相当或更优的性能？
• RQ5 该方法在具有不同形状、纹理与复杂度的多种解剖结构上是否表现出足够的鲁棒性？

主要发现

• 该方法在六项医学影像任务中的四项上实现了接近全监督训练的性能，证明了仅通过极少用户输入即可实现强大泛化能力。
• 在MO-Gallbladder数据集中，弱监督模型的Dice分数达到0.874，优于全监督基线模型的0.862。
• 在六项任务中的四项中，同时引入基于点的损失函数与注意力机制显著提升了性能，尤其在结构复杂或形状不规则的器官中提升最为明显。
• 迭代训练方案在所有数据集中均持续提升了分割精度，随着多轮训练的进行，性能稳步提高，且仅使用同一组弱标注数据。
• 随机游走初始化为分割提供了稳健的起点，即使在纹理变化大或几何结构复杂的场景中（如胰腺）也表现良好。
• 该方法通过每3D体素仅需六次点击，显著降低了标注成本，相比密集涂鸦或完整分割标注具有明显优势。