[论文解读] Image Reconstruction via Variational Network for Real-Time Hand-Held Sound-Speed Imaging

Valery Vishnevskiy, Sergio J. Sanabria+1 more|arXiv (Cornell University)|Jul 19, 2018

Ultrasound Imaging and Elastography参考文献 6被引用 6

一句话总结

本文提出一种变分网络（VN），用于使用有限角度飞行时间数据实现实时、手持式超声波速成像。通过将基于优化的重建过程展开为在合成数据上训练的深度学习架构，该方法在重建误差上比先前方法降低23%，对比度提高27%，且推理时间约为10 ms，可在超声系统上实现实时成像。

ABSTRACT

Speed-of-sound is a biomechanical property for quantitative tissue differentiation, with great potential as a new ultrasound-based image modality. A conventional ultrasound array transducer can be used together with an acoustic mirror, or so-called reflector, to reconstruct sound-speed images from time-of-flight measurements to the reflector collected between transducer element pairs, which constitutes a challenging problem of limited-angle computed tomography. For this problem, we herein present a variational network based image reconstruction architecture that is based on optimization loop unrolling, and provide an efficient training protocol of this network architecture on fully synthetic inclusion data. Our results indicate that the learned model presents good generalization ability, being able to reconstruct images with significantly different statistics compared to the training set. Complex inclusion geometries were shown to be successfully reconstructed, also improving over the prior-art by 23% in reconstruction error and by 10% in contrast on synthetic data. In a phantom study, we demonstrated the detection of multiple inclusions that were not distinguishable by prior-art reconstruction, meanwhile improving the contrast by 27% for a stiff inclusion and by 219% for a soft inclusion. Our reconstruction algorithm takes approximately 10ms, enabling its use as a real-time imaging method on an ultrasound machine, for which we are demonstrating an example preliminary setup herein.

研究动机与目标

• 开发一种基于深度学习的实时重建方法，用于在配备声反射器的便携式手持超声系统中实现波速成像。
• 解决波速重建中有限角度锥束计算机断层扫描的挑战，该挑战在传统优化方法中存在伪影和收敛缓慢的问题。
• 在合成数据和体模数据中，显著提升图像质量，特别是对比度和准确性，优于最先进的TV和MA-TV正则化技术。
• 通过实现亚10 ms的重建时间，实现临床超声设备中的实际部署。

提出的方法

• 该方法采用变分网络（VN）架构，将一种迭代优化算法（带有总变差正则化的ADMM）展开为可学习的端到端深度神经网络，包含4–8层。
• 网络在具有多样化包含几何形状和统计特性的全合成数据上进行训练，损失函数结合了L1数据保真度和L1总变差正则化。
• 前向模型定义为 b = diag(m)Lx + N(0, σN I)，其中 b 为测量的逆飞行时间，L 为稀疏路径矩阵，m 为缺失发射-接收对的欠采样掩码。
• VN在每个展开的迭代中引入可学习参数，如步长和正则化权重，使网络能够学习最优重建动态。
• 该架构使用大规模合成数据集进行训练，包含200张训练图像，其包含形状和声速对比度各不相同。
• 验证协议采用高分辨率前向模型，结合30%的欠采样和正常噪声，用于超参数调优和泛化性能评估。

实验结果

研究问题

• RQ1 能否训练一个深度变分网络，使其在有限角度波速重建中泛化到训练期间未见过的多样化包含几何形状和统计特性？
• RQ2 端到端学习重建过程是否在准确性和对比度方面优于传统的基于优化的方法（如TV和MA-TV）？
• RQ3 所学习的模型能否实现实时性能（每帧亚10 ms），适用于实时超声成像？
• RQ4 与最先进的重建技术相比，该模型在复杂、真实的体模数据上的表现如何？
• RQ5 在临床相关场景中，该网络在减少伪影和提升病灶可分辨性方面达到何种程度？

主要发现

• 所提出的VNv4模型在合成数据上相比先前方法的MA-TV，重建误差降低23%，对比度提高10%，且在视觉保真度和包含几何形状保持方面有显著提升。
• 在含有硬质和软质病灶的乳腺体模中，VNv4使硬质包含物的对比度提高27%，软质包含物的对比度提高219%，实现了先前方法无法区分的清晰分辨。
• VNv4模型展现出强大的泛化能力，成功重建了训练分布中未出现的复杂包含几何形状和光滑变化。
• 在GPU上，重建时间缩短至约10 ms，实现实时视频反馈，适用于实际手持超声系统。
• 在定量指标（SAD、对比度比）和定性评估中，该方法均优于TV和MA-TV，尤其在分辨紧密排列或低对比度包含物方面表现更优。
• 计算基准显示，VN推理时间（GPU上0.01 s）远小于数据传输和飞行时间测量时间，因此适用于实时部署。