[論文レビュー] R$^2$-Gaussian: Rectifying Radiative Gaussian Splatting for Tomographic Reconstruction

Ruyi Zha, Lin Tao+4 more|arXiv (Cornell University)|May 31, 2024

Medical Imaging Techniques and ApplicationsMedicine被引用数 3

ひとこと要約

R²-Gaussian は、スパースビューX線CTにおけるトモグラフィック再構成のための、3Dガウススプラッティング（3DGS）ベースの最初の手法を提案する。標準的な3DGSに見過ごされていた統合バイアスを、特化したX線ラスタライゼーションと微分可能CUDAボクセルライザーにより是正する。SOTA性能を達成し、PSNR 38.90 dB、NeRFベース手法と比較して12倍高速な推論を実現。収束時間は9分未満。

ABSTRACT

3D Gaussian splatting (3DGS) has shown promising results in image rendering and surface reconstruction. However, its potential in volumetric reconstruction tasks, such as X-ray computed tomography, remains under-explored. This paper introduces R$^2$-Gaussian, the first 3DGS-based framework for sparse-view tomographic reconstruction. By carefully deriving X-ray rasterization functions, we discover a previously unknown integration bias in the standard 3DGS formulation, which hampers accurate volume retrieval. To address this issue, we propose a novel rectification technique via refactoring the projection from 3D to 2D Gaussians. Our new method presents three key innovations: (1) introducing tailored Gaussian kernels, (2) extending rasterization to X-ray imaging, and (3) developing a CUDA-based differentiable voxelizer. Experiments on synthetic and real-world datasets demonstrate that our method outperforms state-of-the-art approaches in accuracy and efficiency. Crucially, it delivers high-quality results in 4 minutes, which is 12$ imes$ faster than NeRF-based methods and on par with traditional algorithms. Code and models are available on the project page https://github.com/Ruyi-Zha/r2_gaussian.

研究の動機と目的

• スパースビューX線CTにおける、体積的トモグラフィック再構成に向けた効果的な3Dガウススプラッティング（3DGS）手法の欠如に対処すること。
• トモグラフィーにおける密度場回復精度を低下させる、これまで未知であった標準3DGSにおける統合バイアスを特定・解消すること。
• トモグラフィック再構成に最適化された、微分可能でX線に特化したラスタライゼーションパイプラインを構築し、3Dガウスのエンドツーエンド最適化を可能にすること。
• 最小限の学習時間で高品質な再構成を実現し、NeRFベース手法および従来のCT手法を凌駕すること。

提案手法

• X線減衰推定の歪みを引き起こす統合バイアスを是正するため、3DGSにおける3Dから2Dへの投影を再考することで、新規な是正技術を導入する。
• X線画像に最適化された特化したガウスカーネルを設計し、射線の経路に沿った統合の忠実性を向上させる。
• X線投影幾何を扱えるように3DGSのラスタライゼーションプロセスを拡張し、3Dガウスを通じた減衰値の微分可能レンダリングを可能にする。
• 3Dガウス分布からの効率的で微分可能なボリューム再構成を実現する、CUDAベースの微分可能ボクセライザーを開発する。
• 収束を加速させ、最終的な再構成品質を向上させるために、FDK初期化を採用する。
• アーチファクトを抑制し、再構成密度場の滑らかさを促進するために、全変動（TV）正則化を適用する。

Figure 1: We compare our method to state-of-the-art NeRF-based methods (IntraTomo [ 61 ] , NAF [ 62 ] , SAX-NeRF [ 7 ] ) in terms of visual quality, PSNR (dB), and training time (minute). Our method achieves the highest reconstruction quality and is significantly faster than other methods. \cref@con

実験結果

リサーチクエスチョン

• RQ1 標準的な3Dガウススプラッティングをトモグラフィック再構成に適用した場合に生じる統合バイアスは何か？ そして、それは密度場回復にどのように影響を与えるか？
• RQ2 高忠実度かつ高速収束を実現できるように、3DガウススプラッティングをスパースビューX線CTに効果的に適応できるか？
• RQ3 特化したガウスカーネルとX線に特化したラスタライゼーションは、標準3DGSと比較して再構成精度をどのように向上させるか？
• RQ4 提案手法の微分可能ボクセライザーと最適化戦略は、NeRFベース手法と比較して、どれほど速く、高品質なトモグラフィック再構成を可能にするか？

主な発見

• R²-Gaussian はテストセットでPSNR 38.90 dBを達成し、SOTAのNeRFベース手法と比較して0.93 dBの向上を示した。
• 学習時間を9分未満（50k個のガウスで8分14秒）に短縮し、NeRFベース手法と比較して12倍高速となった。
• 完全なモデルはベースライン比でPSNRを1.51 dB、SSIMを0.018向上させた。FDK初期化が0.9 dBの向上に寄与した。
• 最適なパフォーマンスは、50k個の初期化ガウス、TV損失重みλ_tv = 0.05、ボリュームサイズD = 32で達成された。
• 収束解析から、R²-Gaussian は500回目のイテレーションで鋭く、アーチファクトのない結果に到達しており、NeRFベース手法を著しく上回った。
• 本手法は、X-3DGSが被る視点依存アーチファクトとは異なり、視点に依存しない再構成を生成した。

Figure 2: A detection plane captures the attenuation of X-rays emitted from different angles. \cref@constructprefix page \cref@result