[论文解读] Fully Automatic Segmentation of 3D Brain Ultrasound: Learning from Coarse Annotations

Julia Rackerseder, Rüdiger Göbl+2 more|arXiv (Cornell University)|Apr 18, 2019

Medical Image Segmentation Techniques参考文献 22被引用 4

一句话总结

该论文提出了一种使用DenseVNet进行预训练的全自动3D脑部超声分割方法，通过模拟超声扫查实现预训练，即使在使用粗略且不完整的半自动标注数据进行训练的情况下，也能实现对图像配准的鲁棒初始化。该方法在Dice分数上达到0.47±0.10，平均表面距离为0.71±0.38 mm，优于基线模型，并生成了比输入标注更完整、更具泛化能力的分割结果。

ABSTRACT

Intra-operative ultrasound is an increasingly important imaging modality in neurosurgery. However, manual interaction with imaging data during the procedures, for example to select landmarks or perform segmentation, is difficult and can be time consuming. Yet, as registration to other imaging modalities is required in most cases, some annotation is necessary. We propose a segmentation method based on DeepVNet and specifically evaluate the integration of pre-training with simulated ultrasound sweeps to improve automatic segmentation and enable a fully automatic initialization of registration. In this view, we show that despite training on coarse and incomplete semi-automatic annotations, our approach is able to capture the desired superficial structures such as extit{sulci}, the extit{cerebellar tentorium}, and the extit{falx cerebri}. We perform a five-fold cross-validation on the publicly available RESECT dataset. Trained on the dataset alone, we report a Dice and Jaccard coefficient of $0.45 \pm 0.09$ and $0.30 \pm 0.07$ respectively, as well as an average distance of $0.78 \pm 0.36~mm$. With the suggested pre-training, we computed a Dice and Jaccard coefficient of $0.47 \pm 0.10$ and $0.31 \pm 0.08$, and an average distance of $0.71 \pm 0.38~mm$. The qualitative evaluation suggest that with pre-training the network can learn to generalize better and provide refined and more complete segmentations in comparison to incomplete annotations provided as input.

研究动机与目标

• 实现3D脑部超声的全自动分割，用于术中图像配准，减少对手动标注的依赖。
• 通过基于模拟的预训练，解决3D超声中有限、粗略且不完整的真值标注问题。
• 在存在脑部移位和低质量输入数据的情况下，提升分割模型的鲁棒性和泛化能力。
• 开发一种方法，生成比输入粗略标注更完整、更精细的分割结果，适用于配准初始化。
• 证明即使在小样本数据集（23名患者）和低质量标签条件下，深度学习仍能产生临床可用的分割输出。

提出的方法

• 采用完全卷积的DenseVNet架构进行3D脑部超声分割，实现从体素超声数据的端到端学习。
• 在通过模拟生成的合成超声扫查上进行预训练，以提升特征学习和泛化能力，随后在真实数据上进行微调。
• 模型仅在粗略且不完整的半自动分割标注上进行训练，这些标注源自先前方法，但包含错误和缺失区域。
• 在公开的RESECT数据集上应用五折交叉验证，以在不同受试者间稳健评估性能。
• 评估指标包括Dice系数、Jaccard指数、平均表面距离和Hausdorff距离，用于评估分割的准确性和完整性。
• 定性分析将预测分割结果与手动标注真值及粗略输入标注进行对比，以评估分割的精细化程度和结构覆盖范围。

实验结果

研究问题

• RQ1 当仅在粗略且不完整的半自动标注上进行训练时，深度学习模型能否实现3D脑部超声的全自动分割？
• RQ2 在缺乏高质量真值的情况下，基于模拟超声扫查的预训练是否能提升3D超声分割模型的泛化能力和准确性？
• RQ3 即使输入标注稀疏或存在错误，预测的分割结果是否仍能比输入粗略标注更完整、更精细？
• RQ4 该模型在存在显著脑部移位或图像质量差的情况下，跨受试者的泛化能力如何？
• RQ5 鉴于神经外科手术中对鲁棒且自动化初始化的临床需求，该方法是否适合用于图像配准的初始化？

主要发现

• 所提方法在预训练下达到0.47±0.10的Dice系数和0.31±0.08的Jaccard指数，相较于基线模型（0.45±0.09和0.30±0.07）具有统计学显著提升。
• 预训练下平均表面距离降低至0.71±0.38 mm，相比无预训练时的0.78±0.36 mm，显示出更高的几何精度。
• 尽管Dice分数较低，预测的分割结果比粗略输入标注更完整，覆盖了更多目标结构（如脑沟、大脑镰、小脑幕等）。
• 模型在不同受试者间泛化良好，定性结果显示即使输入标签稀疏或错误，预测结果仍保持精细且一致。
• 患者1和21为异常值，因其输入标注质量差，但模型仍生成了远优于输入标注、更接近手动真值的分割结果。
• Hausdorff距离在两种设置下均保持较高水平（20.70±5.64 mm），表明仍存在残余异常点，但平均距离较低，表明整体对齐良好。