[論文レビュー] Endo-4DGS: Endoscopic Monocular Scene Reconstruction with 4D Gaussian Splatting

Yiming Huang, Beilei Cui+5 more|arXiv (Cornell University)|Jan 29, 2024

Ophthalmology and Visual Impairment StudiesMedicine被引用数 3

ひとこと要約

Endo-4DGS は、4DガウススプラッティングとDepth-Anythingを用いた疑似深度推定により、真の深度データが不要なリアルタイムでモノクローラル内視鏡シーン再構築手法を提案する。高精細な動的組織再構築を実現し、100 FPS の推論速度、4分間の学習時間、4GB のGPU使用量を達成。2つの外科学的データセットにおいて、最先端の手法を上回る精度と効率性を示した。

ABSTRACT

In the realm of robot-assisted minimally invasive surgery, dynamic scene reconstruction can significantly enhance downstream tasks and improve surgical outcomes. Neural Radiance Fields (NeRF)-based methods have recently risen to prominence for their exceptional ability to reconstruct scenes but are hampered by slow inference speed, prolonged training, and inconsistent depth estimation. Some previous work utilizes ground truth depth for optimization but is hard to acquire in the surgical domain. To overcome these obstacles, we present Endo-4DGS, a real-time endoscopic dynamic reconstruction approach that utilizes 3D Gaussian Splatting (GS) for 3D representation. Specifically, we propose lightweight MLPs to capture temporal dynamics with Gaussian deformation fields. To obtain a satisfactory Gaussian Initialization, we exploit a powerful depth estimation foundation model, Depth-Anything, to generate pseudo-depth maps as a geometry prior. We additionally propose confidence-guided learning to tackle the ill-pose problems in monocular depth estimation and enhance the depth-guided reconstruction with surface normal constraints and depth regularization. Our approach has been validated on two surgical datasets, where it can effectively render in real-time, compute efficiently, and reconstruct with remarkable accuracy.

研究の動機と目的

• NeRFに基づく手法の内視鏡再構築における限界、すなわち遅い推論速度、高い計算コスト、ステレオ深度依存性を解消する。
• サイズ、コスト、運用上の制約により、最小侵襲外科学におけるステレオカメラの不実用性を克服する。
• モノクローラル動画入力のみで、変形可能な内視鏡シーンの正確でリアルタイムの再構築を実現する。
• 臨床応用に適した、高精度の再構築を維持しながら、学習時間とGPUメモリ消費量を削減する。
• 軽量なMLPを統合して、組織変形の時間的ダイナミクスをモデル化し、動的外科学環境の再構築を向上させる。

提案手法

• 時間の次元を追加することで3Dガウススプラッティングを4Dに拡張し、動的内視鏡シーンの空間時間的モデリングを可能にする。
• モノクローラル内視鏡画像から疑似深度マップを生成するため、ビジョン基礎モデルであるDepth-Anythingを用い、真の深度データが不要な深度の監視を実現する。
• 軽量なMLPを導入し、4Dガウス分布の時間的変形を予測することで、組織の動きや形状変化をモデル化する。
• 空間的・角度的・アルファブレンド特性を持つ微分可能レンダラーを最適化することで、高精細なレンダリングを実現する。
• 疑似深度品質と再構築の一貫性を向上させるために、ハイパーパrameter α=1000 と λ=0.01 を用いた深度順位損失を導入する。
• ボクセル化された4Dグリッド [64,64,64,75] を用い、Adam最適化アルゴリズムと 1.6×10⁻³ の初期学習率でエンドツーエンドにモデルを学習する。

実験結果

リサーチクエスチョン

• RQ1 真の深度データが不要な状況下でも、4Dガウススプラッティングがモノクローラル内視鏡シーン再構築に効果的に適応可能か？
• RQ2 Depth-Anything のようなビジョン基礎モデルが、内視鏡画像の疑似深度推定にどれほど一般化可能か？
• RQ3 軽量なMLPが、リアルタイム外科学シーンにおける組織変形ダイナミクスを効果的にモデル化できるか？
• RQ4 提案手法は、NeRFベースのベースラインと比較して、リアルタイム推論を維持しながらも高い再構築精度を達成できるか？
• RQ5 既存の最先端手法と比較して、本手法はどれほど学習時間とGPUメモリ使用量を削減できるか？

主な発見

• StereoMIS データセットにおいて、Endo-4DGS はPSNR 36.84、SSIM 0.954 を達成し、EndoNeRF (21.49 PSNR) や EndoSurf (34.89 PSNR) を上回った。
• EndoNeRF データセットでは、Endo-4DGS が37.08 PSNR と 0.955 SSIM を達成し、EndoNeRF (21.49 PSNR) や EndoSurf (34.91 PSNR) を顕著に上回った。
• 本手法は100 FPS の推論速度を達成し、EndoNeRF (0.2 FPS) や EndoSurf (0.04 FPS) と比較して顕著な向上を示し、リアルタイム応用を可能にした。
• 学習時間はわずか4分に短縮され、EndoSurf の7時間、EndoNeRF の5時間と比較して大幅に短縮され、GPUメモリ使用量も4GBに抑えられた。
• 器具による遮蔽や非剛体組織変形を伴う困難なシーンにおいても、優れた一般化性能を示した。定性的な比較でもその有効性が確認された。
• Depth-Anything の統合により、真の深度データがなくても高品質な疑似深度推定が可能となり、正確な深度ガイドド再構築を支援した。