[논문 리뷰] Endo-4DGS: Endoscopic Monocular Scene Reconstruction with 4D Gaussian Splatting

Yiming Huang, Beilei Cui외 5명|arXiv (Cornell University)|2024. 01. 29.

Ophthalmology and Visual Impairment StudiesMedicine인용 수 3

한 줄 요약

Endo-4DGS는 4D 가우시안 스플래터링과 Depth-Anything를 활용해 가짜 깊이 추정을 수행함으로써 진정한 실시간, 단안 내窥경 영상 재구성 방법을 제안한다. 이는 참값 깊이 없이도 고정밀도의 동적 조직 재구성을 가능하게 하며, 100 FPS 추론, 4분간의 학습, 4GB GPU 사용량을 달성하여 두 개의 외과 데이터셋에서 최신 기술들을 초월하는 정확도와 효율성을 확보한다.

ABSTRACT

In the realm of robot-assisted minimally invasive surgery, dynamic scene reconstruction can significantly enhance downstream tasks and improve surgical outcomes. Neural Radiance Fields (NeRF)-based methods have recently risen to prominence for their exceptional ability to reconstruct scenes but are hampered by slow inference speed, prolonged training, and inconsistent depth estimation. Some previous work utilizes ground truth depth for optimization but is hard to acquire in the surgical domain. To overcome these obstacles, we present Endo-4DGS, a real-time endoscopic dynamic reconstruction approach that utilizes 3D Gaussian Splatting (GS) for 3D representation. Specifically, we propose lightweight MLPs to capture temporal dynamics with Gaussian deformation fields. To obtain a satisfactory Gaussian Initialization, we exploit a powerful depth estimation foundation model, Depth-Anything, to generate pseudo-depth maps as a geometry prior. We additionally propose confidence-guided learning to tackle the ill-pose problems in monocular depth estimation and enhance the depth-guided reconstruction with surface normal constraints and depth regularization. Our approach has been validated on two surgical datasets, where it can effectively render in real-time, compute efficiently, and reconstruct with remarkable accuracy.

연구 동기 및 목표

• NeRF 기반 방법의 내窥경 영상 재구성에서의 한계를 해결하기 위해, 느린 추론 속도, 높은 계산 비용, 스테레오 깊이에 대한 의존성을 해결한다.
• 소형, 고비용, 물리적 제약으로 인해 미세 외과 수술에서 스테레오 카메라를 적용하는 것이 불가능한 점을 해결한다.
• 단일 내窥경 영상 입력만으로도 변형 가능한 내窥경 영상의 정확하고 실시간 재구성을 가능하게 한다.
• 임상적 적용을 위해 고해상도 재구성 품질을 유지하면서도 학습 시간과 GPU 메모리 소비량을 줄인다.
• 경량 MLP를 통합하여 조직 변형의 시간적 동역학을 모델링함으로써, 실시간 외과 환경의 재구성 품질을 향상시킨다.

제안 방법

• 시간을 네 번째 차원으로 통합함으로써 3D 가우시안 스플래터링을 4D로 확장하여 동적 내窥경 영상의 시공간 모델링을 가능하게 한다.
• Depth-Anything, 즉 시각 기반 기초 모델을 사용하여 단안 내窥경 영상에서 가짜 깊이 맵을 생성함으로써 참값 데이터 없이도 깊이 감독을 제공한다.
• 경량 MLP를 도입하여 4D 가우시안의 시간적 변형을 예측함으로써 조직의 운동 및 형태 변화를 모델링한다.
• 공간적, 각도적, 알파 혼합 성질을 갖춘 미분 가능한 래스터라이저를 사용하여 4D 가우시안을 최적화함으로써 고정밀 렌더링을 구현한다.
• 가짜 깊이 품질 향상과 재구성 일관성 향상을 위해 초수치 α=1000과 λ=0.01을 설정한 깊이 순위 손실을 활용한다.
• Adam 최적화기와 1.6×10⁻³의 학습률을 사용하여 [64,64,64,75] 크기의 벽체화된 4D 격자에서 모델을 엔드 투 엔드로 학습시킨다.

실험 결과

연구 질문

• RQ1 참값 깊이 없이도 4D 가우시안 스플래터링이 단안 내窥경 영상 재구성에 효과적으로 적용될 수 있는가?
• RQ2 Depth-Anything과 같은 시각 기반 기초 모델이 내窥경 영상에 대해 가짜 깊이 추정에 얼마나 잘 일반화되는가?
• RQ3 경량 MLP가 실시간 외과 환경에서 조직 변형의 동역학을 효과적으로 모델링할 수 있는가?
• RQ4 제안된 방법은 NeRF 기반 기준 대비 실시간 추론를 달성하면서도 높은 재구성 정확도를 유지하는가?
• RQ5 기존 최신 기술 대비 학습 시간과 GPU 메모리 사용량이 얼마나 감소하는가?

주요 결과

• StereoMIS 데이터셋에서 Endo-4DGS는 PSNR 36.84, SSIM 0.954를 기록하여 EndoNeRF(21.49 PSNR)와 EndoSurf(34.89 PSNR)를 모두 초월한다.
• EndoNeRF 데이터셋에서 Endo-4DGS는 37.08 PSNR와 0.955 SSIM을 달성하여 EndoNeRF(21.49 PSNR)와 EndoSurf(34.91 PSNR)를 크게 앞서며 뚜렷한 우월성을 보였다.
• 100 FPS의 추론 속도를 확보하여 EndoNeRF(0.2 FPS)와 EndoSurf(0.04 FPS)에 비해 상당한 향상을 이뤘으며, 실시간 적용이 가능하다.
• 학습 시간은 단 4분으로 단축되었으며, EndoSurf의 7시간, EndoNeRF의 5시간 대비 크게 개선되었고, GPU 메모리 사용량은 오직 4GB에 그쳤다.
• 도구에 의한 가림과 비탄성 조직 변형이 발생하는 어려운 시나리오에서도 뛰어난 일반화 성능을 보이며 정성적 비교를 통해 입증되었다.
• Depth-Anything 통합으로 고품질의 가짜 깊이 추정이 가능해졌으며, 참값 깊이 없이도 정확한 깊이 유도 재구성에 기여하였다.