[论文解读] 3D B-mode ultrasound speckle reduction using deep learning for 3D registration applications

Hongliang Li, Tal Mezheritsky+2 more|arXiv (Cornell University)|Aug 3, 2020

Image and Signal Denoising Methods参考文献 30被引用 4

一句话总结

本文提出一种用于3D B模式超声图像斑点噪声抑制的3D密集U-Net深度学习模型，与传统滤波方法相比，运行时间显著缩短两个数量级，同时保持相似的斑点抑制效果和均值保留性能（指数：1.066 vs. 0.978）。该方法提升了3D配准精度，与未经处理的数据相比，均方误差降低了一半。

ABSTRACT

Ultrasound (US) speckles are granular patterns which can impede image post-processing tasks, such as image segmentation and registration. Conventional filtering approaches are commonly used to remove US speckles, while their main drawback is long run-time in a 3D scenario. Although a few studies were conducted to remove 2D US speckles using deep learning, to our knowledge, there is no study to perform speckle reduction of 3D B-mode US using deep learning. In this study, we propose a 3D dense U-Net model to process 3D US B-mode data from a clinical US system. The model's results were applied to 3D registration. We show that our deep learning framework can obtain similar suppression and mean preservation index (1.066) on speckle reduction when compared to conventional filtering approaches (0.978), while reducing the runtime by two orders of magnitude. Moreover, it is found that the speckle reduction using our deep learning model contributes to improving the 3D registration performance. The mean square error of 3D registration on 3D data using 3D U-Net speckle reduction is reduced by half compared to that with speckles.

研究动机与目标

• 为解决3D B模式超声图像中斑点噪声带来的图像质量下降问题，该问题会阻碍后续处理任务如分割和配准。
• 克服传统3D斑点滤波方法运行时间过长的问题，从而限制其临床应用。
• 开发一种基于深度学习的3D斑点噪声抑制方法，因为此前尚无研究将深度学习应用于3D B模式超声数据。
• 评估基于深度学习的斑点噪声抑制对3D配准性能的影响，尤其关注准确性和计算效率。

提出的方法

• 在临床系统获取的3D B模式超声体数据上端到端训练3D密集U-Net架构，将含噪输入映射为斑点减少的输出。
• 网络采用密集跳跃连接，以改善特征传播和梯度流动，提升在3D体素数据中的学习效率。
• 使用损失函数最小化预测结果与真实无斑点图像之间的差异，以保持结构和强度的一致性。
• 通过比较使用相同深度学习模型处理前后在3D配准任务中的表现，对框架进行评估。
• 在3D数据上，将该方法与传统滤波技术在斑点抑制、均值保留指数和运行时间方面进行基准对比。

实验结果

研究问题

• RQ1 基于深度学习的3D U-Net模型能否在保持图像强度和结构细节的前提下，有效减少3D B模式超声图像中的斑点噪声？
• RQ2 所提出的深度学习方法在3D超声处理中的运行时间与传统滤波技术相比如何？
• RQ3 与未经处理的数据相比，基于深度学习的斑点噪声抑制在多大程度上提升了3D图像配准的准确性？
• RQ4 所提出的方法在斑点抑制和均值保留方面是否达到或优于传统滤波方法？

主要发现

• 所提出的3D密集U-Net相比传统滤波方法将运行时间缩短了两个数量级，实现了3D超声图像的实时处理可行性。
• 该模型的均值保留指数达到1.066，优于传统滤波器（0.978），表明其在保留组织强度特征方面表现更优。
• 使用基于深度学习的斑点减少数据进行3D配准时，相比在原始含斑点数据上配准，均方误差降低了50%。
• 结果表明，通过深度学习实现的斑点噪声抑制可显著提升3D配准性能，验证了其在临床图像处理流程中的实用价值。