[论文解读] ECONet: Efficient Convolutional Online Likelihood Network for Scribble-based Interactive Segmentation

Muhammad Asad, Lucas Fidon+1 more|arXiv (Cornell University)|Jan 12, 2022

COVID-19 diagnosis using AI被引用 6

一句话总结

ECONET 提出了一种轻量级、完全卷积的在线学习网络，用于基于草图的 COVID-19 肺部病灶在 CT 扫描中的交互式分割。该方法通过基于图像块的在线训练与加权交叉熵损失，仅依赖用户提供的草图即可实现实时自适应，相较于最先进方法实现 16% 更高的 Dice 评分，同时将推理时间减少 3 倍，并减少 9,000 个体素的标注需求。

ABSTRACT

Automatic segmentation of lung lesions associated with COVID-19 in CT images requires large amount of annotated volumes. Annotations mandate expert knowledge and are time-intensive to obtain through fully manual segmentation methods. Additionally, lung lesions have large inter-patient variations, with some pathologies having similar visual appearance as healthy lung tissues. This poses a challenge when applying existing semi-automatic interactive segmentation techniques for data labelling. To address these challenges, we propose an efficient convolutional neural networks (CNNs) that can be learned online while the annotator provides scribble-based interaction. To accelerate learning from only the samples labelled through user-interactions, a patch-based approach is used for training the network. Moreover, we use weighted cross-entropy loss to address the class imbalance that may result from user-interactions. During online inference, the learned network is applied to the whole input volume using a fully convolutional approach. We compare our proposed method with state-of-the-art using synthetic scribbles and show that it outperforms existing methods on the task of annotating lung lesions associated with COVID-19, achieving 16% higher Dice score while reducing execution time by 3$\ imes$ and requiring 9000 lesser scribbles-based labelled voxels. Due to the online learning aspect, our approach adapts quickly to user input, resulting in high quality segmentation labels. Source code for ECONet is available at: https://github.com/masadcv/ECONet-MONAILabel.

研究动机与目标

• 为解决 COVID-19 肺部病灶在 CT 容积中手动分割耗时且依赖专家的问题。
• 克服基于外观的模型在区分病灶与健康肺组织时因 HU 强度分布重叠而带来的局限性。
• 开发一种高效、在线学习框架，可快速适应用户草图，无需预训练。
• 在保持高分割精度的同时，减少所需标注体素的数量。
• 为具有模糊视觉特征的新兴病灶提供快速数据标注方案。

提出的方法

• ECONET 采用轻量级完全卷积神经网络，仅使用包含用户提供的草图标签的图像块进行实时训练。
• 网络采用基于图像块的训练策略，以加速从稀疏用户交互中学习。
• 应用加权交叉熵损失以缓解由稀疏草图引起的类别不平衡问题。
• 通过在完整 3D 容积上进行完全卷积的前向传播实现在线推理。
• 模型端到端训练，无需预训练，可立即适应新标注。
• 采用动态学习策略，在每次用户交互后增量式更新网络权重。

实验结果

研究问题

• RQ1 深度学习模型能否仅通过极少的草图标注实现对模糊肺部病灶的高精度分割？
• RQ2 与离线或预训练模型相比，基于稀疏用户交互的在线学习在速度与精度方面表现如何？
• RQ3 基于图像块的训练策略是否能在保持性能的同时降低计算成本？
• RQ4 在稀疏标注导致的类别不平衡下，加权交叉熵损失在多大程度上提升了模型的鲁棒性？
• RQ5 端到端在线学习框架是否能在精度与效率两方面均优于现有在线似然模型？

主要发现

• 在合成草图上，ECONET 的 Dice 评分比最先进方法 DybaORF-Haar-Like 高出 16%。
• 与 DybaORF-Haar-Like 相比，ECONET 将推理时间减少了 3 倍，实现约 2 秒内的在线训练与推理。
• ECONET 实现相当性能仅需比 DybaORF-Haar-Like 少 9,000 个体素的标注。
• 70% 的数据集样本在使用 ECONET 时 Dice 评分超过 80%，而 DybaORF-Haar-Like 仅为 15%。
• ECONET 超过了 GMM 与基于直方图的方法，后者在更多标注体素下甚至出现性能下降，无法泛化。
• 使用非专家草图的定性结果表明，ECONET 生成的分割结果接近真实标签，表明其对噪声用户输入具有鲁棒性。