[논문 리뷰] R$^2$-Gaussian: Rectifying Radiative Gaussian Splatting for Tomographic Reconstruction

Ruyi Zha, Lin Tao외 4명|arXiv (Cornell University)|2024. 05. 31.

Medical Imaging Techniques and ApplicationsMedicine인용 수 3

한 줄 요약

R²-Gaussian는 희소 시야 단층 촬영 재구성에 대한 3D 가우시안 스플래터링 기반의 최초의 방법을 제안하며, 표준 3DGS에서 간과된 통합 편향을 특화된 X선 래스터라이제이션과 미분 가능한 CUDA 보크셀라이저를 통해 보정한다. 이는 NeRF 기반 방법보다 12배 빠른 추론 속도(38.90 dB PSNR)로 최신 기술 수준의 성능을 달성하며, 9분 이내에 수렴한다.

ABSTRACT

3D Gaussian splatting (3DGS) has shown promising results in image rendering and surface reconstruction. However, its potential in volumetric reconstruction tasks, such as X-ray computed tomography, remains under-explored. This paper introduces R$^2$-Gaussian, the first 3DGS-based framework for sparse-view tomographic reconstruction. By carefully deriving X-ray rasterization functions, we discover a previously unknown integration bias in the standard 3DGS formulation, which hampers accurate volume retrieval. To address this issue, we propose a novel rectification technique via refactoring the projection from 3D to 2D Gaussians. Our new method presents three key innovations: (1) introducing tailored Gaussian kernels, (2) extending rasterization to X-ray imaging, and (3) developing a CUDA-based differentiable voxelizer. Experiments on synthetic and real-world datasets demonstrate that our method outperforms state-of-the-art approaches in accuracy and efficiency. Crucially, it delivers high-quality results in 4 minutes, which is 12$ imes$ faster than NeRF-based methods and on par with traditional algorithms. Code and models are available on the project page https://github.com/Ruyi-Zha/r2_gaussian.

연구 동기 및 목표

• 희소 시야 X선 CT에 적용 가능한 효과적인 3D 가우시안 스플래터링(3DGS) 방법의 부재를 해결하기 위해.
• 단층 촬영에서 밀도 장 복원에 정확도를 저하시키는 기존에 알려지지 않은 표준 3DGS의 통합 편향을 규명하고 이를 해결하기 위해.
• 단층 촬영에 최적화된, 엔드 투 엔드 최적화가 가능한 3D 가우시안을 위한 미분 가능한 X선 전용 래스터라이제이션 파이프라인을 개발하기 위해.
• 최소한의 학습 시간으로 높은 재구성 품질을 달성하며, NeRF 기반 및 전통적인 CT 방법을 모두 능가하기 위해.

제안 방법

• 3DGS의 3D에서 2D 투영 과정을 재구성함으로써 X선 감쇠 추정에 왜곡을 유발하는 통합 편향을 수정하는 새로운 보정 기법을 도입한다.
• X선 영상에 최적화된 특화된 가우시안 커널을 설계하여, 투사 경로를 따라 레이 통합의 정밀도를 향상시킨다.
• 3DGS 래스터라이제이션 프로세스를 X선 투사 기하학에 맞게 확장하여, 3D 가우시안을 통한 감쇠 값의 미분 가능한 렌더링을 가능하게 한다.
• 3D 가우시안 분포로부터 효율적이고 미분 가능한 볼륨 재구성을 가능하게 하는 CUDA 기반의 미분 가능한 보크셀라이저를 개발한다.
• 수렴 속도를 높이고 최종 재구성 품질을 향상시키기 위해 FDK 초기화를 적용한다.
• 재구성된 밀도 장의 노이즈를 억제하고 부드러움을 증진하기 위해 총 변동성(TV) 정규화를 적용한다.

Figure 1: We compare our method to state-of-the-art NeRF-based methods (IntraTomo [ 61 ] , NAF [ 62 ] , SAX-NeRF [ 7 ] ) in terms of visual quality, PSNR (dB), and training time (minute). Our method achieves the highest reconstruction quality and is significantly faster than other methods. \cref@con

실험 결과

연구 질문

• RQ1 표준 3D 가우시안 스플래터링을 단층 촬영 재구성에 적용할 경우 존재하는 통합 편향은 무엇이며, 이는 밀도 장 복원에 어떤 영향을 미치는가?
• RQ2 고정밀도와 빠른 수렴을 달성하기 위해 3D 가우시안 스플래터링을 희소 시야 X선 단층 촬영에 효과적으로 적응시킬 수 있는가?
• RQ3 특화된 가우시안 커널과 X선 전용 래스터라이제이션은 표준 3DGS에 비해 재구성 정확도를 어떻게 향상시키는가?
• RQ4 제안된 미분 가능한 보크셀라이저와 최적화 전략은 NeRF 기반 방법에 비해 얼마나 더 빠르고 고품질의 단층 촬영 재구성 가능성을 높이는가?

주요 결과

• R²-Gaussian는 테스트 세트에서 PSNR 38.90 dB를 달성하여 최신 기술 수준의 NeRF 기반 방법보다 0.93 dB 향상되었다.
• 학습 시간을 9분 이내(50k 개의 가우시안으로 8분 14초)로 단축시켜 NeRF 기반 접근 방식보다 12배 빠르게 되었다.
• 전체 모델은 기준 모델 대비 PSNR 1.51 dB, SSIM 0.018 향상되었으며, FDK 초기화가 0.9 dB의 기여를 하였다.
• 최적의 성능은 50k 개의 초기화된 가우시안, TV 손실 가중치 λ_tv = 0.05, 볼륨 크기 D = 32에서 달성되었다.
• 수렴 분석 결과 R²-Gaussian는 500번째 반복에서 날카롭고 아티팩트 없는 결과에 도달하였으며, NeRF 기반 방법보다 뚜렷하게 빠른 성능을 보였다.
• 이 방법은 X-3DGS와 달리 시야에 의존하지 않는 재구성을 생성한다.

Figure 2: A detection plane captures the attenuation of X-rays emitted from different angles. \cref@constructprefix page \cref@result