[논문 리뷰] Self-Supervised Slice-to-Volume Reconstruction with Gaussian Representations for Fetal MRI

Yinsong Wang, Thomas Fletcher외 4명|arXiv (Cornell University)|2026. 01. 30.

Fetal and Pediatric Neurological Disorders인용 수 0

한 줄 요약

GaussianSVR는 3D Gaussian 프리미티브를 사용해 태아 뇌 부피를 모델링하고, 시뮬레이티드 슬라이스 획득 모델을 활용한 자체 감독, 다중 해상도 훈련으로 SVR의 가우시안 매개변수와 슬라이스 변환을 공동 추정한다.

ABSTRACT

Reconstructing 3D fetal MR volumes from motion-corrupted stacks of 2D slices is a crucial and challenging task. Conventional slice-to-volume reconstruction (SVR) methods are time-consuming and require multiple orthogonal stacks for reconstruction. While learning-based SVR approaches have significantly reduced the time required at the inference stage, they heavily rely on ground truth information for training, which is inaccessible in practice. To address these challenges, we propose GaussianSVR, a self-supervised framework for slice-to-volume reconstruction. GaussianSVR represents the target volume using 3D Gaussian representations to achieve high-fidelity reconstruction. It leverages a simulated forward slice acquisition model to enable self-supervised training, alleviating the need for ground-truth volumes. Furthermore, to enhance both accuracy and efficiency, we introduce a multi-resolution training strategy that jointly optimizes Gaussian parameters and spatial transformations across different resolution levels. Experiments show that GaussianSVR outperforms the baseline methods on fetal MR volumetric reconstruction. Code will be available upon acceptance.

연구 동기 및 목표

• 모션으로 인한 왜곡과 제한된 실제 정답 데이터에도 불구하고 강건한 3D 태아 MRI 재구성을 촉진한다.
• 용적 재구성을 가능하게 하는 3D 가우시안 표현을 제안한다.
• 자체 감독 학습 프레임워크를 시뮬레이션된 순방향 슬라이드 획득 모델을 사용해 개발한다.
• 다중 해상도 최적화 전략을 도입해 가우시안 매개변수와 움직임을 스케일 간에 공동으로 추정한다.

제안 방법

• 대상 부피를 매개변수(mu, Sigma, I)를 갖는 3D 가우시안 프리미티브 세트로 표현한다.
• 3D 가우시안 부피를 2D 슬라이스로 투사하기 위한 순방향 슬라이스 획득 모델을 렌더링해 자체 감독을 확보한다.
• 각 가우시안의 3 시그마 이내에서 로컬화된 3D 가우시안 기반 강도 누적을 이용해 V(x)를 계산한다.
• L1 데이터 적합도, D-SSIM, TV 규제화를 결합한 손실을 최소화해 가우시안 및 슬라이스 변환 매개변수를 엔드투엔드로 최적화한다.
• 강건성을 위한 저해상도 최적화 후 고해상도 정교화를 하는 두 단계의 다중 해상도 학습을 적용한다.
• 각 슬라이스에 대해 시뮬레이션된 PSF 기반 3D 가우시안 렌더링과 순방향 모델 y_i = D B T_i x를 활용한다.

실험 결과

연구 질문

• RQ1 3D Gaussian 표현이 모션으로 손상된 슬라이스로부터 고충실도 태아 뇌 부피 재구성을 달성할 수 있는가?
• RQ2 forward 슬라이스 획득 모델을 가진 자체 감독 학습 프레임워크가 기 저ored 진 데이터의 필요성을 제거하는가?
• RQ3 거친-정밀(다중 해상도) 최적화가 단일 해상도 방법에 비해 수렴성과 재구성 품질을 향상시키는가?
• RQ4 Gaussian 매개변수와 슬라이스 변환이 INR 기반 또는 기존 방법과 비교해 SVR 성능을 향상시키는 방식은 무엇인가?

주요 결과

• GaussianSVR는 FeTA 데이터에서 PSNR 28.19 dB, SSIM 0.9281, NRMSE 0.0468로 베이스라인보다 높은 재구성 품질을 달성한다.
• It outperforms NeSVoR by 2.9% in PSNR and yields better SSIM and lower NRMSE.
• Ablation shows that removing multi-resolution or joint transformation optimization degrades performance.
• Qualitative results indicate GaussianSVR reconstructs finer anatomical details and sharper volumes than baselines.