[논문 리뷰] DDGS-CT: Direction-Disentangled Gaussian Splatting for Realistic Volume Rendering

Zhongpai Gao, Benjamin Planche외 4명|arXiv (Cornell University)|2024. 06. 04.

Computer Graphics and Visualization Techniques인용 수 4

한 줄 요약

이 논문은 CT 볼륨에서 디지털 재구성 방사선영상(DRR)을 효율적이고 미분 가능하며 현실적인 부피 렌더링을 가능하게 하기 위해 등방성 및 방향 의존성 반사도 성분을 분리하는 방향 분리 3D 가우시안 스플래터링 DDGS-CT를 제안한다. 런타임 몬테카를로 시뮬레이션 없이 콜롬브 산란 및 기타 이방성 X선 효과를 모델링함으로써 DDGS는 최신 기술 수준의 영상 정확도와 2D/3D CT 정렬에서 뛰어난 성능을 달성하여 실시간 수술 내 응용을 가능하게 한다.

ABSTRACT

Digitally reconstructed radiographs (DRRs) are simulated 2D X-ray images generated from 3D CT volumes, widely used in preoperative settings but limited in intraoperative applications due to computational bottlenecks, especially for accurate but heavy physics-based Monte Carlo methods. While analytical DRR renderers offer greater efficiency, they overlook anisotropic X-ray image formation phenomena, such as Compton scattering. We present a novel approach that marries realistic physics-inspired X-ray simulation with efficient, differentiable DRR generation using 3D Gaussian splatting (3DGS). Our direction-disentangled 3DGS (DDGS) method separates the radiosity contribution into isotropic and direction-dependent components, approximating complex anisotropic interactions without intricate runtime simulations. Additionally, we adapt the 3DGS initialization to account for tomography data properties, enhancing accuracy and efficiency. Our method outperforms state-of-the-art techniques in image accuracy. Furthermore, our DDGS shows promise for intraoperative applications and inverse problems such as pose registration, delivering superior registration accuracy and runtime performance compared to analytical DRR methods.

연구 동기 및 목표

• 실시간 수술 내 적용에서 물리 기반 몬테카를로 DRR 렌더링의 계산적 병목 현상을 해결하기 위해.
• 분석적 방법이 간과하는 콜롬브 산란과 같은 이방성 X선 효과를 모델링하여 DRR 생성의 영상 현실감을 향상시키기 위해.
• 물리적 정확도를 유지하면서도 3D 가우시안 스플래터링을 사용해 다양한 DRR 렌더링을 가능하게 하기 위해.
• 해부학적 구조의 기하학적 특성과 방사선 투과도 인식 샘플링을 통합하여 톰로그래픽 데이터에 대한 3DGS 초기화를 향상시키기 위해.
• 2D/3D CT 영상 정렬과 같은 후행 역문제에서 뛰어난 성능을 입증하기 위해.

제안 방법

• 비방향성(등방성) 및 방향 의존성(이방성) 성분으로 나누어 반사도를 분리하는 방향 분리 3D 가우시안 스플래터링(DDGS) 프레임워크를 도입한다.
• 직접적인 광자 운반 시뮬레이션 없이도 산란 효과를 암묵적으로 포착하는 학습 가능한 함수를 사용해 방향 의존 효과를 모델링한다.
• 정확도와 효율성을 향상시키기 위해 해부학적 구조 간 접촉 영역과 균일한 영역을 동시에 샘플링하는 이중 전략을 활용해 3DGS 초기화를 개선한다.
• 포즈 정렬과 같은 역문제를 위한 역전파를 지원하는 다양한 렌더링 파이프라인을 사용한다.
• 물리적 현실감을 확보하기 위해 사전 훈련된 참조 DRR 렌더러(Monte Carlo 등)를 활용해 DDGS 훈련을 지도한다.
• 특징 차원 수를 최적화하고 구성 요소 분리의 타당성을 검증하기 위해 아블레이션 실험을 수행한다.

Figure 1: Proposed pipeline of Direction-Disentangled 3D Gaussian Splatting (DDGS).

실험 결과

연구 질문

• RQ1 비용이 많이 드는 몬테카를로 시뮬레이션에 의존하지 않고도 방향 분리 3D 가우시안 스플래터링 기법이 현실적인 DRR 렌더링을 달성할 수 있는가?
• RQ2 등방성 및 이방성 반사도 성분을 분리함으로써 표준 3DGS 또는 분석적 DRR 방법에 비해 영상 품질은 얼마나 향상되는가?
• RQ3 제안된 방사선 투과도 인식 초기화 전략이 의료 부피 렌더링에서 렌더링 정확도와 수렴 속도에 얼마나 기여하는가?
• RQ4 DDGS는 2D/3D CT 정렬에서 영상 품질과 런타임 성능 모두에서 분석적 DRR 방법을 초월할 수 있는가?
• RQ5 방향 의존 성분이 임상 영상 시나리오에서 콜롬브 산란 및 기타 이방성 X선 효과를 효과적으로 모델링하는가?

주요 결과

• CTPelvic1K 데이터셋에서 DDGS는 평균 PSNR 7.46과 SSIM 0.80을 기록하여, DiffDRR(PSNR: 30.88, SSIM: 0.72)와 X-Gaussian보다 영상 품질에서 뚜렷한 우월성을 보였다.
• 아블레이션 실험을 통해 방향 분리가 필수적임을 확인: 혼합 또는 단일 성분 모델은 성능 저하를 보였으며, 3DGS-분리 기반 베이스라인은 DDGS에 뒤지게 되었다.
• 제안된 방사선 투과도 인식 초기화 전략은 균일 및 균일 샘플링 기반 베이스라인보다 우수한 성능을 보였으며, PSNR 향상과 정규화 오차 감소를 이끌었다.
• 특징 차원 수를 늘릴수록 성능 향상이 있었지만, k=16를 초과하면 수익 감소 현상이 나타나 성능 향상의 한계에 도달함을 시사했다.
• 2D/3D 정렬에서 DDGS는 CTPelvic1K에서 가장 낮은 회전 오차(0.80°)와 이동 오차(0.65 mm)를 기록하여 분석적 방법을 능가했다.
• Ljubljana 데이터셋에서 DDGS는 DiffDRR보다 포즈 정밀 조정에서 더 빠른 수렴 속도를 보였으며, 역문제 해결에서 뛰어난 런타임 효율성을 입증했다.

Figure 2: Illustration of the different sampling strategies for 3DGS initialization.