[論文レビュー] EndoGaussian: Real-time Gaussian Splatting for Dynamic Endoscopic Scene Reconstruction

Yifan Liu, Chenxin Li+2 more|arXiv (Cornell University)|Jan 23, 2024

Advanced Vision and Imaging被引用数 8

ひとこと要約

EndoGaussian は Holistic Gaussian Initialization と Spatio-temporal Gaussian Tracking を用いて、3D Gaussian Splatting を実時間動的内視鏡シーンに適用し、リアルタイムレンダリングと高品質な再構成を達成します。

ABSTRACT

Reconstructing deformable tissues from endoscopic videos is essential in many downstream surgical applications. However, existing methods suffer from slow rendering speed, greatly limiting their practical use. In this paper, we introduce EndoGaussian, a real-time endoscopic scene reconstruction framework built on 3D Gaussian Splatting (3DGS). By integrating the efficient Gaussian representation and highly-optimized rendering engine, our framework significantly boosts the rendering speed to a real-time level. To adapt 3DGS for endoscopic scenes, we propose two strategies, Holistic Gaussian Initialization (HGI) and Spatio-temporal Gaussian Tracking (SGT), to handle the non-trivial Gaussian initialization and tissue deformation problems, respectively. In HGI, we leverage recent depth estimation models to predict depth maps of input binocular/monocular image sequences, based on which pixels are re-projected and combined for holistic initialization. In SPT, we propose to model surface dynamics using a deformation field, which is composed of an efficient encoding voxel and a lightweight deformation decoder, allowing for Gaussian tracking with minor training and rendering burden. Experiments on public datasets demonstrate our efficacy against prior SOTAs in many aspects, including better rendering speed (195 FPS real-time, 100$ imes$ gain), better rendering quality (37.848 PSNR), and less training overhead (within 2 min/scene), showing significant promise for intraoperative surgery applications. Code is available at: \url{https://yifliu3.github.io/EndoGaussian/}.

研究の動機と目的

• 実時間での変形性内視鏡組織の術中利用を目的とした3D再構成を動機づける。
• SfM パイプラインにおける sparse COLMAP 結果を克服するための dense かつ高速な初期化を可能にする。
• 軽量な時空間変形場で組織変形をモデル化する。
• リアルタイムのレンダリング速度を実現しつつ高品質な再構成を維持する。
• 外科的設定での実用的な導入を可能にするためのトレーニング負荷を低減する。

提案手法

• dense 3D Gaussian でシーンを表現し、速度向上のため tile-based rasterizer でレンダリングする。
• stereo/mono 入力から予測深度マップを用いた Holistic Gaussian Initialization により Gaussian を densely 初期化する。
• 変形場を encoding voxel と軽量デコーダーに分解した Spatio-temporal Gaussian Tracking を実行する。
• Encoding voxels は HexPlane-based multi-resolution 表現を用いて時間依存の潜在特徴を効率的に計算する。
• Gaussian の位置・回転・スケーリング・不透明度の変化を予測する4つの小さな MLP によって Gaussians を変形する； SH 変化をモデル化しない。

実験結果

リサーチクエスチョン

• RQ1 Holistic Gaussian Initialization は秒単位で dense かつ正確な Gaussian priors を作成できるか（分・時間ではなく）？
• RQ2 軽量な時空間変形モデルは EndoGaussian の組織動態を効果的に捉えられるか？
• RQ3 EndoGaussian は公開データセット上で競合する再構成品質を維持しつつリアルタイムレンダリングを提供できるか？
• RQ4 EndoGaussian は速度・メモリ・精度の点で最新の deformable tissue reconstruction 手法とどのように比較されるか？

主な発見

データセット	手法	PSNR	SSIM	LPIPS	TrTime	FPS	GPU
ENDONERF	EndoNeRF [22]	36.062	0.933	0.089	5.0 hours	0.04	19GB
ENDONERF	EndoSurf [27]	36.529	0.954	0.074	8.5 hours	0.04	17GB
ENDONERF	LerPlane-9k [24]	34.988	0.926	0.080	3.5 min	0.91	20GB
ENDONERF	LerPlane-32k [24]	37.384	0.950	0.047	8.5 min	0.87	20GB
ENDONERF	Ours-monocular	36.429	0.951	0.089	2.0 min	180.06	2GB
ENDONERF	Ours-binocular	37.849	0.963	0.054	2.0 min	195.09	2GB
SCARED	EndoNeRF [22]	24.345	0.768	0.313	3.5 hours	0.02	22GB
SCARED	EndoSurf [27]	25.020	0.802	0.356	5.8 hours	0.01	22GB
SCARED	Ours-monocular	23.477	0.744	0.489	5.01 min	175.63	3GB
SCARED	Ours-binocular	27.042	0.827	0.267	2.15 min	181.20	2GB

• リアルタイムレンダリングを約195 FPS（双眼入力）で達成し、従来手法より約100倍の速度向上を実現。
• ENDONERF で 37.849 PSNR の強い再構成品質を示し、SSIM/LPIPS でベースラインと比較して競争力を示す。
• 1 シーンあたり約2分のトレーニング時間、RTX 4090 でのメモリ使用量は約 2 GB。
• Holistic initialization は速度と最終品質の両方で COLMAP およびランダム初期化を上回る。
• 分解された encoding voxel と軽量デコーダーを用いた Spatio-temporal Gaussian Tracking はオーバーヘッドを抑えつつ効果的な変形モデリングを実現。