[论文解读] Interactive segmentation of medical images through fully convolutional neural networks

Tomas Sakinis, Fausto Milletarì+8 more|arXiv (Cornell University)|Mar 19, 2019

Radiomics and Machine Learning in Medical Imaging参考文献 29被引用 60

一句话总结

一个基于深度学习的半自动分割方法，在用户点击引导下使用全卷积网络，快速在CT影像中划定医学结构，对未见器官具有强泛化能力，并通过交互反馈实现高效的精细调整。

ABSTRACT

Image segmentation plays an essential role in medicine for both diagnostic and interventional tasks. Segmentation approaches are either manual, semi-automated or fully-automated. Manual segmentation offers full control over the quality of the results, but is tedious, time consuming and prone to operator bias. Fully automated methods require no human effort, but often deliver sub-optimal results without providing users with the means to make corrections. Semi-automated approaches keep users in control of the results by providing means for interaction, but the main challenge is to offer a good trade-off between precision and required interaction. In this paper we present a deep learning (DL) based semi-automated segmentation approach that aims to be a "smart" interactive tool for region of interest delineation in medical images. We demonstrate its use for segmenting multiple organs on computed tomography (CT) of the abdomen. Our approach solves some of the most pressing clinical challenges: (i) it requires only one to a few user clicks to deliver excellent 2D segmentations in a fast and reliable fashion; (ii) it can generalize to previously unseen structures and "corner cases"; (iii) it delivers results that can be corrected quickly in a smart and intuitive way up to an arbitrary degree of precision chosen by the user and (iv) ensures high accuracy. We present our approach and compare it to other techniques and previous work to show the advantages brought by our method.

研究动机与目标

• 在医学领域说明交互式分割的需求，以在精确性与所需用户努力之间取得平衡。
• 提出一个基于CNN的半自动分割框架，能够对最小的用户输入（点击）做出响应，以划定感兴趣区域（ROI）。
• 实现快速初始分割，并通过额外的点击进行迭代修正，保持高精度并对未见结构具备泛化能力。
• 在腹部CT数据集上展示其有效性，并与完全自动方法及先前的交互方法进行比较。

提出的方法

• 使用一个用于单次二值分割单个ROI的全卷积编码-解码网络。
• 将输入扩充为来自前景和背景点击的用户引导信号，形成三通道二维输入（图像、前景引导、背景引导）。
• 将点击转换为通过高斯滤波平滑的引导图；归一化到 [0,1]，并与图像拼接作为网络输入。
• 使用迭代的、模拟交互策略进行训练，模拟用户通过添加点击来纠正 FP/FN 区域；在批量中用 Dice 损失进行优化。
• 离线使用视差图和 Chamfer 距离场来模拟用户交互，以将点击位置偏向错误区域。
• 采用一个包含四个下采样块、一个瓶颈层和四个上采样块的二维FCNN；标准的卷积–批归一化–ReLU 块，以及用于全分辨率输出的转置卷积。
• 在CT腹部数据上训练；在交叉验证、已知结构（MSD 脾脏）和未知结构（MSD 结肠癌）上进行评估；衡量 Dice、Hausdorff 距离和平均绝对距离。

实验结果

研究问题

• RQ1 基于CNN的交互框架是否能够在最小用户输入（甚至仅一个点击）下提供准确的分割？
• RQ2 在训练阶段与测试阶段用户交互量对分割精度和稳定性有何影响？
• RQ3 该方法在未在训练中看到的结构上能在多大程度上实现泛化（已知区域 vs 未知区域）？
• RQ4 在标准基准（BCV、MSD）上，所提交互方法与完全自动方法相比如何？

主要发现

• 单击初始分割在高精度下是可行的，且随着额外用户点击，精度提高。
• 该模型对未见结构（未知区域）具备泛化能力，在允许用户交互时，其性能与最先进方法媲美甚至超越。
• 在 MSD 脾脏（已知区域）上，少量交互的结果已经很强，随着更多交互而改进，接近或超过现有方法。
• 在 MSD 结肠癌（未知区域）上，随着交互增加，该方法获得比一些专门的最先进方法更高的 Dice 分数。
• 在 BCV 测试数据上，该方法优于若干完全自动的基线，并在多个指标上展现出区域级的有竞争力的表现。