[论文解读] Hough-CNN: Deep Learning for Segmentation of Deep Brain Regions in MRI and Ultrasound

Fausto Milletarì, Seyed‐Ahmad Ahmadi+9 more|arXiv (Cornell University)|Jan 26, 2016

Medical Image Segmentation Techniques参考文献 41被引用 31

一句话总结

Hough-CNN 提出了一种新颖的深度学习框架，通过将卷积神经网络与霍夫投票相结合，利用网络最深层的特征表示，在 MRI 和超声中实现对深部脑结构的鲁棒、多区域分割。该方法无需后处理或图像配准即可实现高精度、平滑的分割效果，优于标准 CNN 和基于图谱的方法，尤其在低对比度和噪声较大的超声成像中表现更优。

ABSTRACT

In this work we propose a novel approach to perform segmentation by leveraging the abstraction capabilities of convolutional neural networks (CNNs). Our method is based on Hough voting, a strategy that allows for fully automatic localisation and segmentation of the anatomies of interest. This approach does not only use the CNN classification outcomes, but it also implements voting by exploiting the features produced by the deepest portion of the network. We show that this learning-based segmentation method is robust, multi-region, flexible and can be easily adapted to different modalities. In the attempt to show the capabilities and the behaviour of CNNs when they are applied to medical image analysis, we perform a systematic study of the performances of six different network architectures, conceived according to state-of-the-art criteria, in various situations. We evaluate the impact of both different amount of training data and different data dimensionality (2D, 2.5D and 3D) on the final results. We show results on both MRI and transcranial US volumes depicting respectively 26 regions of the basal ganglia and the midbrain.

研究动机与目标

• 解决在 MRI 和超声中分割深部脑结构的挑战，其中低对比度、噪声以及缺乏解剖上下文信息阻碍了传统方法的应用。
• 开发一种基于深度学习的分割方法，具备鲁棒性、灵活性和可扩展性，可在不同模态间应用，且无需图像配准。
• 研究网络架构、训练数据规模以及数据维度（2D、2.5D、3D）对临床有限数据环境下分割性能的影响。
• 仅通过 CNN 特征和霍夫投票实现完全自动化的定位与分割，避免依赖预定义图谱或复杂配准。
• 在不同超声扫描几何形态和患者特异性颅骨窗口条件下，验证方法的泛化能力。

提出的方法

• 该方法采用基于图像块的多图谱策略，每个图像块由训练好的 CNN 进行分类，预测结果通过霍夫投票聚合，以实现目标结构的定位与分割。
• 霍夫投票应用于最深层卷积层的特征图，隐式编码空间先验信息和解剖上下文。
• 通过将投票结果反投影至原始图像空间完成分割，生成平滑、连续的轮廓，无需后处理。
• 该框架具有模态无关性，可通过在特定模态数据上微调 CNN，轻松适配不同成像协议。
• 该方法仅依赖 CNN 内部的特征表示，无需外部图谱或配准过程。
• 评估了多种网络架构（如 7-5-3、SmallAlex、3-3-3-3-3-3-3-3）以分析其在不同复杂度和数据类型下的性能表现。

实验结果

研究问题

• RQ1 与标准体素级 CNN 相比，Hough-CNN 在 MRI 和超声中分割深部脑区的表现如何？
• RQ2 网络架构的复杂性对低对比度、高噪声超声与高对比度 MRI 中分割精度的影响是什么？
• RQ3 不同数据模态（2D、2.5D、3D）如何影响分割性能，尤其是在仅轴向平面具有诊断价值的超声中？
• RQ4 Hough-CNN 是否能在无配准条件下，实现对多样化超声扫描几何形态和患者特异性颅骨窗口的鲁棒、泛化性分割？
• RQ5 该方法在多大程度上可减少对大规模标注数据集的依赖，并避免后处理或图谱配准？

主要发现

• 在所有参数设置下，Hough-CNN 均优于标准体素级 CNN，实现了更平滑、更精确的分割，且无需后处理。
• 在 MRI 中，较简单的 7-5-3 网络表现最佳；而在超声中，更深层的网络（如 3-3-3-3-3-3-3-3 和 SmallAlex）因能捕捉复杂视觉模式而表现更优。
• 3D 数据提升了 MRI 的分割性能，但降低了超声的性能，因为专家仅依赖轴向平面进行中脑识别。
• 在 MRI 中，大范围高对比区域取得了较高的 Dice 系数；在小范围低对比区域，平均表面距离达到亚体素级别。
• 在 3D 经颅超声中，Hough-CNN 在来自 20 多名受试者的 114 个体积中实现了鲁棒的中脑分割，覆盖多样的扫描几何形态和图像质量。
• 与基于图谱的方法相比，该方法显著更快（超声中约 30 秒，MRI 中 3–4 分钟），且完全无配准，适用于临床超声场景，尤其在配准失败时仍表现稳定。