[论文解读] DeepOrganNet: On-the-Fly Reconstruction and Visualization of 3D / 4D Lung Models from Single-View Projections by Deep Deformation Network

Yifan Wang, Zichun Zhong+1 more|arXiv (Cornell University)|Jul 22, 2019

3D Shape Modeling and Analysis参考文献 50被引用 4

一句话总结

DeepOrganNet 是一种深度学习框架，能够从单个 2D 医疗投影（例如 X 射线或 4D-CT）实时重建高保真度、流形的 3D/4D 肺部网格。它采用三元张量积变形网络并结合学习到的潜在描述符，实现实时、精确的器官建模，与传统方法相比，显著降低了影像辐射剂量和计算时间。

ABSTRACT

This paper introduces a deep neural network based method, i.e., DeepOrganNet, to generate and visualize high-fidelity 3D / 4D organ geometric models from single-view medical image in real time. Traditional 3D / 4D medical image reconstruction requires near hundreds of projections, which cost insufferable computational time and deliver undesirable high imaging / radiation dose to human subjects. Moreover, it always needs further notorious processes to extract the accurate 3D organ models subsequently. To our knowledge, there is no method directly and explicitly reconstructing multiple 3D organ meshes from a single 2D medical grayscale image on the fly. Given single-view 2D medical images, e.g., 3D / 4D-CT projections or X-ray images, our end-to-end DeepOrganNet framework can efficiently and effectively reconstruct 3D / 4D lung models with a variety of geometric shapes by learning the smooth deformation fields from multiple templates based on a trivariate tensor-product deformation technique, leveraging an informative latent descriptor extracted from input 2D images. The proposed method can guarantee to generate high-quality and high-fidelity manifold meshes for 3D / 4D lung models. The major contributions of this work are to accurately reconstruct the 3D organ shapes from 2D single-view projection, significantly improve the procedure time to allow on-the-fly visualization, and dramatically reduce the imaging dose for human subjects. Experimental results are evaluated and compared with the traditional reconstruction method and the state-of-the-art in deep learning, by using extensive 3D and 4D examples from synthetic phantom and real patient datasets. The proposed method only needs several milliseconds to generate organ meshes with 10K vertices, which has a great potential to be used in real-time image guided radiation therapy (IGRT).

研究动机与目标

• 为解决传统 3D/4D CBCT 成像中辐射剂量高、重建时间长的问题，这些方法通常需要数百张投影图像。
• 通过直接从单张 2D 图像生成高保真度 3D 器官网格，消除后续分割和重建处理步骤的需求。
• 实现在图像引导放射治疗（IGRT）过程中动态肺部模型的实时、即插即用可视化。
• 开发一种深度学习框架，能够从单视角输入同时重建多个器官形状（例如左肺和右肺）。
• 与现有深度学习方法相比，提升形状保真度和流形质量，后者常生成非流形或低质量的网格。

提出的方法

• 该方法采用端到端深度神经网络，包含三个核心组件：特征编码模块、独立变形模块和空间排列（平移）模块。
• 采用三元张量积变形技术（自由形式变形）来从多个解剖模板中学习平滑、最优的形变。
• 从输入的 2D 投影中提取潜在描述符，以指导选择并形变最合适的模板。
• 该框架联合学习模板选择与形变场，从而实现对复杂、患者特异性肺部几何形状的精确重建。
• 网络在合成体模和真实 4D-CT 患者数据集上进行训练，以实现对多样化解剖形态和呼吸相位的泛化能力。
• 通过独立处理每一相位实现 4D 重建，未来可扩展为基于 RNN 或注意力机制的架构。

实验结果

研究问题

• RQ1 深度学习模型能否直接从单个 2D 医疗投影重建出高保真度、流形的 3D/4D 肺部网格？
• RQ2 所提出的方法能否实现亚秒级延迟的实时重建（即插即用），满足临床使用需求？
• RQ3 该框架能否从单张输入图像中同时重建多个器官（例如左肺和右肺）？
• RQ4 与传统 FDK 方法及最先进的深度学习方法相比，该方法在形状准确性和网格质量方面的表现如何？
• RQ5 通过用单视角成像替代多角度投影 CBCT，该方法能否显著降低影像剂量，同时保持诊断准确性？

主要发现

• DeepOrganNet 仅需几毫秒即可重建包含约 10,000 个顶点的 3D/4D 肺部网格，实现真正的实时性能。
• 与传统 FDK 方法需数分钟的重建时间相比，该方法将每 4D 相位的重建时间缩短至 22 毫秒以内，支持 IGRT 中的实时可视化。
• 重建的网格具有流形特性且保真度高，优于现有深度学习方法所生成的非流形或无效表面元素。
• 该框架成功捕捉了动态呼吸运动，在体模和真实患者数据中，呼气相位的形变幅度均被准确映射。
• 与传统 FDK 方法及最先进的深度学习方法相比，该方法在形状重建准确性方面表现更优，尤其在低投影数场景下优势显著。
• 系统已证明具备临床部署的可行性，目前正与合作医院安排正式临床试验。