[論文レビュー] EndoGS: Deformable Endoscopic Tissues Reconstruction with Gaussian Splatting

Lingting Zhu, Zhao Wang+4 more|arXiv (Cornell University)|Jan 21, 2024

3D Shape Modeling and Analysis被引用数 4

ひとこと要約

EndoGSは、単一視点動画からの変形性内視鏡組織の高精細でリアルタイムな再構成を実現する初のガウススプラッティングベースの手法を提案する。変形フィールド、空間的・時間的マスクを用いた深度誘導型監視、表面に沿った正則化を統合することで、最先端のレンダリング品質と約70 FPSの性能を達成し、品質および速度の両面で従来のNeRFベース手法を大きく上回る。

ABSTRACT

Surgical 3D reconstruction is a critical area of research in robotic surgery, with recent works adopting variants of dynamic radiance fields to achieve success in 3D reconstruction of deformable tissues from single-viewpoint videos. However, these methods often suffer from time-consuming optimization or inferior quality, limiting their adoption in downstream tasks. Inspired by 3D Gaussian Splatting, a recent trending 3D representation, we present EndoGS, applying Gaussian Splatting for deformable endoscopic tissue reconstruction. Specifically, our approach incorporates deformation fields to handle dynamic scenes, depth-guided supervision with spatial-temporal weight masks to optimize 3D targets with tool occlusion from a single viewpoint, and surface-aligned regularization terms to capture the much better geometry. As a result, EndoGS reconstructs and renders high-quality deformable endoscopic tissues from a single-viewpoint video, estimated depth maps, and labeled tool masks. Experiments on DaVinci robotic surgery videos demonstrate that EndoGS achieves superior rendering quality. Code is available at https://github.com/HKU-MedAI/EndoGS.

研究の動機と目的

• 単一視点動画からの高品質で動的な内視鏡組織の再構成に取り組む。これは、遮蔽と大きな変形のため、不適切に定式化された問題である。
• 従来のNeRFベース手法の限界、たとえば最適化が遅く、ツールの遮蔽下でも一般化性能が低いことに対処する。
• 外科的3D再構成における3Dガウススプラッティングの高速性と忠実性を活用し、リアルタイム応用を可能にする。
• 表面に沿った正則化を用いて、特にツールによる遮蔽領域の近傍での幾何的正確性を向上させる。

提案手法

• 静的3Dガウス分布と時間依存の変形フィールド（軽量MLPでモデル化）を組み合わせて、動的外科的シーンを表現する。
• モノクロナル最適化中にツールの遮蔽を処理するため、空間的・時間的重みマスクを用いた深度誘導型監視を適用する。
• ガウス分布を下位の組織表面に合わせることで幾何的忠実性を向上させる表面に沿った正則化を導入する。
• 可微分ラスタライゼーションを用いて新規ビューをレンダリングし、真値画像、深度マップ、ツールマスクに対して最適化を行う。
• 2段階の訓練戦略を採用：まず静的ガウス分布を最適化し、その後追加のイテレーションで変形フィールドを精緻化する。
• マルチスケールボクセルプレーンを活用して、ガウス分布の平均と時間から特徴を抽出し、変形予測に用いる。

実験結果

リサーチクエスチョン

• RQ1 ガウススプラッティングは、高精細でリアルタイム性能を達成するため、単一視点動画からの変形性内視鏡組織の再構成に効果的に適応可能か？
• RQ2 インプライシットまたはエキスリシットな監視を用いた3D再構成において、モノクロナル内視鏡動画のツール遮蔽をどのように軽減できるか？
• RQ3 表面に沿った正則化は、遮蔽領域近傍での幾何的正確性の向上とアーティファクトの低減にどのような役割を果たすか？
• RQ4 空間的・時間的マスクを用いた深度誘導型監視は、部分的可視性下でも再構成品質をどのように向上させるか？
• RQ5 変形モデリングと3Dガウススプラッティングを組み合わせることで、レンダリング品質と推論速度の両面で従来のNeRFベース手法を上回るか？

主な発見

• EndoGSはPSNR 37.935（±0.088）、SSIM 0.966（±0.003）、LPIPS 0.034（±0.001）を達成し、すべての指標でEndoNeRFおよびForPlaneを顕著に上回った。
• 本手法は約70 FPSを達成し、EndoNeRF（<0.2 FPS）およびForPlane（約1.7 FPS）と比較して顕著な高速化を実現し、リアルタイム性能を示した。
• アブレーションスタディにより、空間的全変動損失が遮蔽領域での色のずれを低減し、視覚的一致性を向上させることを確認した。
• 表面に沿った正則化は、遮蔽された表面近傍でのぼやけを効果的に低減し、微細なディテールを保持することを定性的な比較で示した。
• トレーニングおよび推論時に一貫したツールマスクを使用することで、公平な比較が可能となり、遮蔽に対する耐性が向上した。
• 「引っ張り」「柔らかい組織の引き抜き」など、大きな非剛性変形を伴う困難なシーンにおいても、EndoGSは優れた一般化性能を示した。