[논문 리뷰] EndoGS: Deformable Endoscopic Tissues Reconstruction with Gaussian Splatting

Lingting Zhu, Zhao Wang외 4명|arXiv (Cornell University)|2024. 01. 21.

3D Shape Modeling and Analysis인용 수 4

한 줄 요약

EndoGS는 단일 뷰 영상에서 변형 가능한 내 endoscopic 조직의 고해상도 실시간 재구성에 있어 첫 번째 가우시안 스플래터링 기반 방법을 제안한다. 변형 필드, 깊이 유도 감독 및 시공간 마스크, 표면에 맞춘 정규화를 통합함으로써 최신 기술 수준의 렲링 품질과 약 70 FPS 성능을 달성하여 기존의 NeRF 기반 방법에 비해 품질과 속도 면에서 뚜렷한 우수성을 보인다.

ABSTRACT

Surgical 3D reconstruction is a critical area of research in robotic surgery, with recent works adopting variants of dynamic radiance fields to achieve success in 3D reconstruction of deformable tissues from single-viewpoint videos. However, these methods often suffer from time-consuming optimization or inferior quality, limiting their adoption in downstream tasks. Inspired by 3D Gaussian Splatting, a recent trending 3D representation, we present EndoGS, applying Gaussian Splatting for deformable endoscopic tissue reconstruction. Specifically, our approach incorporates deformation fields to handle dynamic scenes, depth-guided supervision with spatial-temporal weight masks to optimize 3D targets with tool occlusion from a single viewpoint, and surface-aligned regularization terms to capture the much better geometry. As a result, EndoGS reconstructs and renders high-quality deformable endoscopic tissues from a single-viewpoint video, estimated depth maps, and labeled tool masks. Experiments on DaVinci robotic surgery videos demonstrate that EndoGS achieves superior rendering quality. Code is available at https://github.com/HKU-MedAI/EndoGS.

연구 동기 및 목표

• 단일 시점 영상에서의 고해상도 동적 내 endoscopic 조직 재구성을 해결하고자 하며, 이는 도구 가림과 큰 변형으로 인해 정의되지 않은 문제이다.
• 기존의 NeRF 기반 방법의 한계, 즉 느린 최적화 및 도구 가림 상황에서의 낮은 일반화 능력을 극복하고자 한다.
• 수술용 3D 재구성에 실시간 응용을 가능하게 하기 위해 3D 가우시안 스플래터링의 빠름과 정확성을 활용하고자 한다.
• 표면에 맞춘 정규화를 통해 도구 가림 영역 근처의 기하 정확도를 향상시켜 재구성된 장면의 기하학적 정확도를 개선하고자 한다.

제안 방법

• 가벼운 MLP를 통해 시간에 따라 변화하는 변형 필드를 모델링함과 동시에 정적 3D 가우시안과의 조합으로 동적 수술 장면을 표현한다.
• 단일 시점 최적화 중 도구 가림을 처리하기 위해 시공간 가중치 마스크를 활용한 깊이 유도 감독을 적용한다.
• 가우시안를 기저 조직 표면에 맞추어 정렬함으로써 기하학적 정밀도를 향상시키기 위해 표면에 맞춘 정규화를 도입한다.
• 기본 이미지, 깊이 맵, 도구 마스크와의 최적화를 위해 가시화 가능한 렌더링을 위해 유연한 래스터라이제이션을 사용한다.
• 두 단계 학습 전략을 활용한다: 먼저 정적 가우시안을 최적화한 후, 추가 반복을 통해 변형 필드를 정밀하게 보정한다.
• 가우시안의 평균값과 시간을 위한 다중 해상도 볼륨 플레인을 활용해 변형 예측를 위한 특징를 추출한다.

실험 결과

연구 질문

• RQ1 가우시안 스플래터링은 단일 뷰 영상에서 변형 가능한 내 endoscopic 조직을 고해상도 및 실시간 성능으로 효과적으로 재구성하는 데 적합한가?
• RQ2 암시적 또는 명시적 감독을 사용한 3D 재구성 과정에서 단일 시점 내 endoscopic 영상의 도구 가림 문제를 어떻게 완화할 수 있는가?
• RQ3 표면에 맞춘 정규화는 도구 가림 영역 근처에서 기하학적 정확도 향상과 잡음 감소에 어떤 역할을 하는가?
• RQ4 시공간 마스크를 활용한 깊이 유도 감독은 부분적으로 가려진 상황에서도 재구성 품질을 어떻게 향상시키는가?
• RQ5 변형 모델링과 3D 가우시안 스플래터링을 결합하면 기존의 NeRF 기반 접근법에 비해 렌더링 품질과 추론 속도 면에서 뛰어나지 않는가?

주요 결과

• EndoGS는 PSNR 37.935 (±0.088), SSIM 0.966 (±0.003), LPIPS 0.034 (±0.001)의 성능을 기록하여 모든 지표에서 EndoNeRF 및 ForPlane를 뛰어넘었다.
• 약 70 FPS의 성능을 달성하여 EndoNeRF(<0.2 FPS) 및 ForPlane(~1.7 FPS)에 비해 뚜렷한 향상이 있었으며, 실시간 기능을 입증했다.
• 단서 실험 결과 시공간 총 변동성 손실이 가림 영역에서 색상 이탈을 감소시켜 시각적 일관성을 향상시킴을 확인했다.
• 표면에 맞춘 정규화가 도구 가림 표면 근처에서 블러링을 줄이고 세밀한 디테일을 유지하는 데 효과적이며, 정성적 비교를 통해 이를 입증했다.
• 학습 및 추론 과정에서 일관된 도구 마스크를 사용함으로써 공정한 비교가 가능해졌고, 가림에 대한 강인성도 향상되었다.
• 큰 비정적 변형이 발생하는 어려운 시나리오, 예를 들어 '견인' 및 '부드러운 조직 당기기' 시나리오에서도 우수한 일반화 능력을 보였다.