[论文解读] End-to-End Learning-Based Ultrasound Reconstruction

Walter Simson, Rüdiger Göbl+5 more|arXiv (Cornell University)|Apr 9, 2019

Ultrasound Imaging and Elastography参考文献 5被引用 12

一句话总结

该论文提出了一种基于端到端深度学习的超声波重建方法，采用全卷积神经网络（FCNN）并使用自定义损失函数，将原始的时间延迟超声数据映射为最小方差（MV）类图像。该方法实现了17 Hz的实时性能，诊断图像质量与MV波束成形相当，在体膜和在体评估中均表现出优于传统DAS的图像质量。

ABSTRACT

Ultrasound imaging is caught between the quest for the highest image quality, and the necessity for clinical usability. Our contribution is two-fold: First, we propose a novel fully convolutional neural network for ultrasound reconstruction. Second, a custom loss function tailored to the modality is employed for end-to-end training of the network. We demonstrate that training a network to map time-delayed raw data to a minimum variance ground truth offers performance increases in a clinical environment. In doing so, a path is explored towards improved clinically viable ultrasound reconstruction. The proposed method displays both promising image reconstruction quality and acquisition frequency when integrated for live ultrasound scanning. A clinical evaluation is conducted to verify the diagnostic usefulness of the proposed method in a clinical setting.

研究动机与目标

• 弥合高质量依赖数据的波束成形器（如MV）与临床可行的实时重建之间的差距。
• 开发一种深度神经网络，直接从原始时间延迟数据学习重建高保真度超声图像。
• 设计一种针对模态的损失函数，引导网络输出趋向于临床相关的图像特征。
• 在体膜和在体临床环境中验证该方法的诊断实用性。
• 在匹配或超越MV波束成形质量的同时，实现≥15 Hz的实时性能。

提出的方法

• 使用全卷积神经网络（FCNN）训练，将时间延迟的原始超声数据映射为最小方差（MV）波束成形的真实图像。
• 自定义损失函数结合均方误差（MSE）、结构相似性指数（SSIM）和总变差（TV）正则化，以提升图像质量并减少噪声。
• 损失函数特别针对超声成像设计，强调与诊断评估相关的对比度、纹理和斑点特征。
• 使用在体数据进行端到端训练，网络优化过程中不依赖于合成或体膜数据。
• 在网络部署于临床超声设备上进行实时推理时，实现了GPU上的17 Hz帧率。
• 该方法利用全卷积架构，支持任意扫描深度并保持空间一致性。

实验结果

研究问题

• RQ1 能否训练深度神经网络，从原始数据重建出与最小方差（MV）波束成形诊断质量相当的高质量超声图像？
• RQ2 能否设计一种自定义损失函数，引导网络输出趋向于临床相关的图像特征，如对比度、纹理和斑点？
• RQ3 所提出的方法是否能够在保持或提升图像质量的同时，实现≥15 Hz的实时性能（≥15 Hz）？
• RQ4 该网络是否能泛化到未见过的在体解剖结构和临床场景？
• RQ5 该网络是否能无缝集成到临床超声工作流程中而不损害诊断实用性？

主要发现

• 所提方法实现了17 Hz的帧率，相较于MV波束成形器（0.14 Hz）实现了121倍的速度提升，实现了临床实时应用。
• 在临床评估中，该方法在全部七个指标中平均得分最高（2.95/5），优于DAS（2.19/5）和MV（2.90/5）。
• 该方法在对比度（3.35/5）、分辨率（2.95/5）和细微解剖结构（2.47/5）方面得分最高，表明其具有优越的诊断潜力。
• 网络展现出强大的泛化能力，在体内成功生成了未见过的解剖结构（如甲状腺和肱桡肌）的高质量图像。
• 自定义损失函数成功引导网络生成结构保真度更高、斑点更少的图像，经医生评估得到证实。
• 该方法在所有定性指标上均优于DAS，同时帧率比MV波束成形快121倍，证明了其临床可行性与性能优势。