[论文解读] DDGS-CT: Direction-Disentangled Gaussian Splatting for Realistic Volume Rendering

Zhongpai Gao, Benjamin Planche+4 more|arXiv (Cornell University)|Jun 4, 2024

Computer Graphics and Visualization Techniques被引用 4

一句话总结

该论文提出DDGS-CT，一种方向解耦的3D高斯点云渲染方法，通过分离各向同性和方向依赖的辐射度分量，实现从CT体积数据高效、可微分且逼真的数字重建放射影像（DRRs）渲染。通过在运行时无需蒙特卡洛模拟即可建模康普顿散射及其他各向异性X射线效应，DDGS在图像精度方面达到最先进水平，并在2D/3D CT配准任务中表现出色，支持实时术中应用。

ABSTRACT

Digitally reconstructed radiographs (DRRs) are simulated 2D X-ray images generated from 3D CT volumes, widely used in preoperative settings but limited in intraoperative applications due to computational bottlenecks, especially for accurate but heavy physics-based Monte Carlo methods. While analytical DRR renderers offer greater efficiency, they overlook anisotropic X-ray image formation phenomena, such as Compton scattering. We present a novel approach that marries realistic physics-inspired X-ray simulation with efficient, differentiable DRR generation using 3D Gaussian splatting (3DGS). Our direction-disentangled 3DGS (DDGS) method separates the radiosity contribution into isotropic and direction-dependent components, approximating complex anisotropic interactions without intricate runtime simulations. Additionally, we adapt the 3DGS initialization to account for tomography data properties, enhancing accuracy and efficiency. Our method outperforms state-of-the-art techniques in image accuracy. Furthermore, our DDGS shows promise for intraoperative applications and inverse problems such as pose registration, delivering superior registration accuracy and runtime performance compared to analytical DRR methods.

研究动机与目标

• 解决基于物理的蒙特卡洛DRR渲染在实时术中应用中的计算瓶颈问题。
• 通过建模康普顿散射等各向异性X射线效应（解析方法常忽略），提升DRR生成的图像真实感。
• 在保持物理准确性的前提下，利用3D高斯点云渲染实现可微分、高效的DRR渲染。
• 通过引入几何与放射密度感知的采样策略，改进断层扫描数据的3DGS初始化。
• 在下游逆问题（如2D/3D CT图像配准）中展示优越性能。

提出的方法

• 提出一种方向解耦的3D高斯点云渲染（DDGS）框架，将辐射度分解为非方向性（各向同性）和方向依赖性（各向异性）分量。
• 使用可学习函数隐式捕捉散射效应，无需显式光子传输模拟，实现方向依赖效应建模。
• 采用双策略改进3DGS初始化：在解剖结构接触区域和均质区域进行采样，以提升准确性和效率。
• 设计支持反向传播的可微分渲染流水线，适用于姿态配准等逆问题。
• 利用预训练的真实DRR渲染器（如蒙特卡洛方法）监督DDGS训练，确保物理真实感。
• 优化特征维度并消融组件解耦性，以验证设计选择的有效性。

Figure 1: Proposed pipeline of Direction-Disentangled 3D Gaussian Splatting (DDGS).

实验结果

研究问题

• RQ1 是否可通过方向解耦的3D高斯点云渲染方法，在不依赖昂贵蒙特卡洛模拟的前提下实现逼真的DRR渲染？
• RQ2 将各向同性和各向异性辐射度分量分离，相比标准3DGS或解析DRR方法，能否显著提升图像保真度？
• RQ3 所提出的放射密度感知初始化在医学体积渲染中，对提升渲染准确性和收敛速度的贡献程度如何？
• RQ4 DDGS是否能在2D/3D CT配准任务中同时实现图像质量与运行效率的超越解析DRR方法？
• RQ5 方向依赖分量是否能有效建模临床影像场景中的康普顿散射及其他各向异性X射线效应？

主要发现

• 在CTPelvic1K数据集上，DDGS实现平均PSNR为7.46，SSIM为0.80，图像质量显著优于DiffDRR（PSNR: 30.88，SSIM: 0.72）和X-Gaussian。
• 消融实验表明方向解耦至关重要：耦合或单分量模型性能下降，3DGS解耦基线亦逊于DDGS。
• 所提出的放射密度感知初始化优于均匀采样与均匀采样基线，提升PSNR并降低配准误差。
• 增加特征维度可提升性能，但当k=16后增益趋于饱和，表明边际收益递减。
• 在2D/3D配准任务中，DDGS在CTPelvic1K数据集上实现最低的旋转误差（0.80°）和位移误差（0.65 mm），优于解析方法。
• 在Ljubljana数据集上，DDGS在姿态精化过程中收敛速度优于DiffDRR，展现出在逆问题中的更优运行效率。

Figure 2: Illustration of the different sampling strategies for 3DGS initialization.