[論文レビュー] DDGS-CT: Direction-Disentangled Gaussian Splatting for Realistic Volume Rendering

Zhongpai Gao, Benjamin Planche+4 more|arXiv (Cornell University)|Jun 4, 2024

Computer Graphics and Visualization Techniques被引用数 4

ひとこと要約

本稿では、等方的および方向依存性の放射度成分を分離することで、CTボリュームからデジタル再構築レントゲン（DRRs）を効率的で微分可能かつ現実的なボリュームレンダリングを可能にする、方向分離型3次元ガウススプラッティング手法DDGS-CTを提案する。ランタイムでのモンテカルロシミュレーションを用いずにコンプトン散乱やその他の異方的X線効果をモデル化することで、DDGSは最先端の画像精度と2D/3D CTレジストレーションにおける優れた性能を達成し、リアルタイムの術中応用を可能にする。

ABSTRACT

Digitally reconstructed radiographs (DRRs) are simulated 2D X-ray images generated from 3D CT volumes, widely used in preoperative settings but limited in intraoperative applications due to computational bottlenecks, especially for accurate but heavy physics-based Monte Carlo methods. While analytical DRR renderers offer greater efficiency, they overlook anisotropic X-ray image formation phenomena, such as Compton scattering. We present a novel approach that marries realistic physics-inspired X-ray simulation with efficient, differentiable DRR generation using 3D Gaussian splatting (3DGS). Our direction-disentangled 3DGS (DDGS) method separates the radiosity contribution into isotropic and direction-dependent components, approximating complex anisotropic interactions without intricate runtime simulations. Additionally, we adapt the 3DGS initialization to account for tomography data properties, enhancing accuracy and efficiency. Our method outperforms state-of-the-art techniques in image accuracy. Furthermore, our DDGS shows promise for intraoperative applications and inverse problems such as pose registration, delivering superior registration accuracy and runtime performance compared to analytical DRR methods.

研究の動機と目的

• リアルタイム術中応用における物理ベースのモンテカルロDRRレンダリングの計算ボトルネックを解消すること。
• 解析的手法が無視するコンプトン散乱などの異方的X線効果をモデル化することで、DRR生成における画像の現実性を向上させること。
• 物理的正確性を保ちながら、3次元ガウススプラッティングを用いて微分可能で効率的なDRRレンダリングを可能にすること。
• 幾何学的特徴と放射線吸収率に配慮したサンプリングを組み込むことで、トモグラフィー画像データに対する3DGS初期化を改善すること。
• 2D/3D CT画像レジストレーションを含む下流の逆問題において、優れた性能を示すことを実証すること。

提案手法

• 放射度を非方向的（等方的）および方向依存的（異方的）成分に分解する方向分離型3次元ガウススプラッティング（DDGS）フレームワークを導入する。
• 明示的な光子輸送シミュレーションを用いずに、散乱を暗黙的に捉える学習可能関数を用いて方向依存効果をモデル化する。
• 精度と効率の向上を図るため、解剖的構造同士の接触領域と均一領域の両方を対象とした二段階戦略を用いて3DGS初期化を適応させる。
• 逆問題（例：ポーズレジストレーション）に適したバックプロパゲーションをサポートする微分可能レンダリングパイプラインを採用する。
• 物理的現実性を保証するため、DDGSのトレーニングを事前に学習済みの真値DRRレンダラ（例：モンテカルロ）の出力で監視する。
• 特徴次元の最適化と成分分離のアブレーションを実施し、設計選択の妥当性を検証する。

Figure 1: Proposed pipeline of Direction-Disentangled 3D Gaussian Splatting (DDGS).

実験結果

リサーチクエスチョン

• RQ1 高価なモンテカルロシミュレーションに依存せずに、方向分離型3次元ガウススプラッティングアプローチが現実的なDRRレンダリングを達成できるか？
• RQ2 等方的および異方的放射度成分の分離は、標準的な3DGSまたは解析的手法と比較して、画像の忠実度をどのように向上させるか？
• RQ3 提案された放射線吸収率に配慮した初期化は、医療ボリュームレンダリングにおけるレンダリング精度と収束性をどの程度向上させるか？
• RQ4 DDGSは2D/3D CTレジストレーションにおいて、画像品質と実行時間の両面で解析的手法を上回るか？
• RQ5 方向依存成分は臨床的画像診断シナリオにおいて、コンプトン散乱やその他の異方的X線効果を効果的にモデル化できるか？

主な発見

• CTPelvic1Kデータセットにおいて、DDGSは平均PSNR 7.46およびSSIM 0.80を達成し、DiffDRR（PSNR: 30.88, SSIM: 0.72）およびX-Gaussianと比較して顕著に優れた画像品質を示した。
• アブレーションスタディにより、方向分離が不可欠であることが確認された。混合または単一成分モデルでは性能が低下し、3DGS分離ベースラインはDDGSに劣った。
• 提案された放射線吸収率に配慮した初期化は、均一および均等サンプリングベースラインを上回り、PSNRを向上させるとともに、レジストレーション誤差を低減した。
• 特徴次元を増加させることで性能向上が見られたが、k=16を超えると利得が減少し、限界に達した。
• 2D/3Dレジストレーションにおいて、DDGSはCTPelvic1Kで回転誤差0.80°および並進誤差0.65 mmを達成し、解析的手法を上回った。
• Ljubljanaデータセットでは、DDGSはDiffDRRよりもポーズ最適化の収束が速く、逆問題における優れた実行時間効率を示した。

Figure 2: Illustration of the different sampling strategies for 3DGS initialization.