[论文解读] Going Off-Grid: Continuous Implicit Neural Representations for 3D Vascular Modeling

Dieuwertje Alblas, Christoph Brüne+2 more|arXiv (Cornell University)|Jul 29, 2022

Medical Image Segmentation Techniques被引用 5

一句话总结

本文提出使用可微分隐式神经表示（INRs）将3D血管结构建模为符号距离函数（SDF）的零水平集，从而实现从稀疏点云出发的连续、轻量化且鲁棒的表面重建。该方法通过单个网络拟合嵌套的血管壁并平滑融合单个动脉，实现了对复杂血管几何结构（如腹主动脉瘤和主动脉-股动脉树）的精确、封闭的模型构建，仅需最少200个表面点即可实现鲁棒性能。

ABSTRACT

Personalised 3D vascular models are valuable for diagnosis, prognosis and treatment planning in patients with cardiovascular disease. Traditionally, such models have been constructed with explicit representations such as meshes and voxel masks, or implicit representations such as radial basis functions or atomic (tubular) shapes. Here, we propose to represent surfaces by the zero level set of their signed distance function (SDF) in a differentiable implicit neural representation (INR). This allows us to model complex vascular structures with a representation that is implicit, continuous, light-weight, and easy to integrate with deep learning algorithms. We here demonstrate the potential of this approach with three practical examples. First, we obtain an accurate and watertight surface for an abdominal aortic aneurysm (AAA) from CT images and show robust fitting from as little as 200 points on the surface. Second, we simultaneously fit nested vessel walls in a single INR without intersections. Third, we show how 3D models of individual arteries can be smoothly blended into a single watertight surface. Our results show that INRs are a flexible representation with potential for minimally interactive annotation and manipulation of complex vascular structures.

研究动机与目标

• 开发一种连续、可微分且轻量化的3D血管模型表示方法，以良好地与深度学习集成。
• 实现从稀疏点云中鲁棒且精确的表面重建，减少对密集人工标注的依赖。
• 在单个INR中同时表示多个嵌套的血管表面（例如血管腔和外壁），以保持解剖一致性。
• 通过INR-based SDF融合方法，实现多个动脉结构的平滑、无交叠融合，形成单一连通的血管树，以支持下游应用（如计算流体动力学CFD）。
• 通过实现分辨率无关、可微分的建模，弥合显式表示（网格、体素）与深度学习之间的鸿沟。

提出的方法

• 血管结构的表面表示为符号距离函数（SDF）的零水平集，该SDF由多层感知机（MLP）参数化，形成隐式神经表示（INR）。
• 使用损失函数训练SDF，以最小化预测值与采样点处真实SDF值之间的差异，并通过正则化保持Eikonal约束（||∇SDF|| = 1）。
• 对于多结构建模，对各个血管的独立点云分别训练多个INRs，并通过一个平滑融合函数（参数k=0.1）融合其SDF输出，以确保连续性并避免相交。
• 通过共享网络预测SDF值并引入局部偏移，将嵌套的血管壁（如血管腔和外壁）在单个INR中表示，利用权重共享促进解剖一致性。
• 使用Adam优化器在50,000个周期内优化INR，输入坐标被归一化至每个血管子域的域内。
• 最终模型通过在完整血管域上生成笛卡尔网格进行评估，通过相应INR查询每个网格点，重新缩放SDF值，并将其融合为单一连续表面。

实验结果

研究问题

• RQ1 INRs能否仅从200个稀疏表面点中重建出精确且封闭的3D血管表面？
• RQ2 单个INR能否同时表示多个嵌套的血管表面（如血管腔和外壁），并提升解剖一致性？
• RQ3 能否通过基于INR的SDF融合方法实现多个动脉结构的平滑、无交叠融合？
• RQ4 与传统显式表示（网格、体素）相比，基于INR的表示在连续性、分辨率独立性和与深度学习的集成方面表现如何？
• RQ5 INRs能否作为深度学习分割与下游应用（如计算流体动力学）之间灵活且可微分的接口？

主要发现

• 基于INR的方法仅使用200个标注的表面点，即实现了对腹主动脉瘤表面的鲁棒且精确的重建，生成了封闭且光滑的模型。
• 在单个INR中同时拟合嵌套的血管壁（血管腔和外壁）相比分别建模，显著降低了解剖不一致性和交叠的可能性。
• 成功将九个独立的动脉结构（升主动脉、髂动脉、肠系膜动脉、肾动脉、肝动脉）平滑融合为单一连通的血管树，未出现表面穿插或折叠，生成了适用于CFD的几何模型。
• 该方法表现出分辨率独立性，因为INR表示可在任意分辨率下评估，且不损失连续性或质量。
• 在单个INR中为嵌套结构使用共享权重，提升了学习效率和一致性，SDF值仅通过局部偏移存在差异。
• 该方法可无缝集成至深度学习流水线，并支持交互式标注，因为快速的INR拟合和不确定性量化可引导用户进行最小化输入。