[论文解读] ImplicitVol: Sensorless 3D Ultrasound Reconstruction with Deep Implicit Representation

Pak-Hei Yeung, Linde S. Hesse+5 more|arXiv (Cornell University)|Sep 24, 2021

Medical Image Segmentation Techniques被引用 12

一句话总结

ImplicitVol 提出了一种基于深度隐式表征的无传感器 3D 超声重建方法，其中 3D 体数据被隐式建模为从 3D 坐标到强度值的连续函数。该框架联合优化 2D 扫描到 3D 位置的估计与 3D 体积重建，实现了在新型断面视图上 NCC 和 SSIM 指标较基线方法提升超过 30% 的性能。

ABSTRACT

The objective of this work is to achieve sensorless reconstruction of a 3D volume from a set of 2D freehand ultrasound images with deep implicit representation. In contrast to the conventional way that represents a 3D volume as a discrete voxel grid, we do so by parameterizing it as the zero level-set of a continuous function, i.e. implicitly representing the 3D volume as a mapping from the spatial coordinates to the corresponding intensity values. Our proposed model, termed as ImplicitVol, takes a set of 2D scans and their estimated locations in 3D as input, jointly refining the estimated 3D locations and learning a full reconstruction of the 3D volume. When testing on real 2D ultrasound images, novel cross-sectional views that are sampled from ImplicitVol show significantly better visual quality than those sampled from existing reconstruction approaches, outperforming them by over 30% (NCC and SSIM), between the output and ground-truth on the 3D volume testing data. The code will be made publicly available.

研究动机与目标

• 解决从稀疏、手动操作的 2D 扫描中重建高质量 3D 超声体积的挑战，且不依赖外部跟踪传感器。
• 克服传统基于体素的重建方法的局限性，如离散网格插值导致的误差累积和分辨率低下问题。
• 利用深层神经网络联合优化 2D 扫描定位与 3D 体积重建，该网络将体积隐式表示为连续函数。
• 与现有方法相比，提升新型断面视图中的视觉质量和结构相似性，尤其在欠采样和运动伪影区域表现更优。
• 实现在仅配备 2D 探头但需要 3D 诊断信息的低资源环境下的实用化 3D 超声评估。

提出的方法

• 3D 体积被隐式表示为连续函数 $ F_{\Theta}(\mathbf{x}) $ 的零水平集，其中 $ \mathbf{x} = (x, y, z) $ 为 3D 空间坐标，$ F_{\Theta} $ 是由参数 $ \Theta $ 定义的深层神经网络。
• 模型以一组 2D 超声扫描及其估计的 3D 位置作为输入，在训练过程中联合优化 3D 位置估计与隐式体积表征。
• 网络通过可微分渲染损失进行训练，该损失将从隐式体积渲染的 2D 切片与真实 2D 扫描进行比较，从而实现端到端优化。
• 该方法利用隐式表征的连续性，实现无需体素网格离散化的高分辨率、分辨率无关的重建。
• 该框架以完全端到端、无传感器的方式进行训练与测试——推理过程中无需真实 3D 扫描位置作为监督信号。
• 采用可微分体积渲染模块，从隐式 3D 体积中采样输入 2D 扫描在估计 3D 位置处的 2D 投影，用于监督训练。

实验结果

研究问题

• RQ1 深度隐式表征是否能在不依赖外部跟踪传感器的前提下，联合提升 3D 体积重建与 2D 到 3D 扫描定位的性能？
• RQ2 在 3D 超声重建中，隐式表征相较于显式体素化方法在视觉质量与结构相似性方面表现如何？
• RQ3 对定位与重建进行联合优化在多大程度上可减少误差累积并提升手动 2D 超声扫描的鲁棒性？
• RQ4 隐式模型是否能泛化到包含运动伪影和不规则采样模式的原生手动 2D 扫描？
• RQ5 增加训练扫描数量是否能提升隐式重建框架的性能？

主要发现

• 与基线方法相比，ImplicitVol 在体素采样 2D 超声数据的新型断面视图上，NCC 和 SSIM 指标均提升 30% 以上。
• 3D 位置估计与体积重建的联合优化带来了显著的性能提升，NCC 从无优化时的 0.591 提升至 128 分辨率下的 0.719。
• 当使用 256 个训练扫描时，ImplicitVol 在体素采样数据上实现了 NCC 0.747 和 SSIM 0.569，优于所有基线方法。
• 在原生手动 2D 超声扫描中，与基线相比，ImplicitVol 在运动伪影区域（红色框）表现出更优的视觉质量，并对欠采样区域（黄色框）的处理更佳。
• 该模型对初始 3D 位置估计不准确具有鲁棒性，联合优化过程显著提升了定位精度，且无需额外监督。
• 当分辨率从 128 提升至 256 并启用联合优化时，定位误差降低了 25%（从 8.34 ± 5.32 mm 降至 6.32 ± 4.61 mm）。