[論文レビュー] EvaGaussians: Event Stream Assisted Gaussian Splatting from Blurry Images

Wangbo Yu, Chaoran Feng+7 more|arXiv (Cornell University)|May 29, 2024

Medical Imaging Techniques and ApplicationsMedicine被引用数 3

ひとこと要約

EvaGaussiansは、運動歪みのある画像からの高精細3Dガウススプラッタリング（3D-GS）再構築を可能にする画期的なフレームワークを提案する。本手法は、歪み形成プロセスを明示的にモデル化し、3D-GSパラメータとカメラの運動軌跡を同時に最適化することで、画像レベルのデブラーと微分可能なイベント再構築損失を組み合わせ、実世界の歪みと低照度環境における詳細回復と忠実度を著しく向上させる。

ABSTRACT

3D Gaussian Splatting (3D-GS) has demonstrated exceptional capabilities in 3D scene reconstruction and novel view synthesis. However, its training heavily depends on high-quality, sharp images and accurate camera poses. Fulfilling these requirements can be challenging in non-ideal real-world scenarios, where motion-blurred images are commonly encountered in high-speed moving cameras or low-light environments that require long exposure times. To address these challenges, we introduce Event Stream Assisted Gaussian Splatting (EvaGaussians), a novel approach that integrates event streams captured by an event camera to assist in reconstructing high-quality 3D-GS from blurry images. Capitalizing on the high temporal resolution and dynamic range offered by the event camera, we leverage the event streams to explicitly model the formation process of motion-blurred images and guide the deblurring reconstruction of 3D-GS. By jointly optimizing the 3D-GS parameters and recovering camera motion trajectories during the exposure time, our method can robustly facilitate the acquisition of high-fidelity novel views with intricate texture details. We comprehensively evaluated our method and compared it with previous state-of-the-art deblurring rendering methods. Both qualitative and quantitative comparisons demonstrate that our method surpasses existing techniques in restoring fine details from blurry images and producing high-fidelity novel views.

研究の動機と目的

• COLMAPにおける不正確なカメラポーズと特徴マッチングの問題により、運動歪みのある画像で3Dガウススプラッタリング（3D-GS）が失敗する課題に対処すること。
• イベントカメラの高い時間分解能とダイナミックレンジを活用し、運動歪み画像の形成プロセスをモデル化すること。
• 露出時間内に3D-GSパラメータとカメラの運動軌跡を同時に最適化することで、頑健なデブラーと高精細な新規ビュー合成を実現すること。
• ドローン、ロボット工学、低照度環境など、歪みが顕著な実世界のシナリオにおける再構築品質を向上させること。
• 合成データセットと実世界データセットを導入することで、デブラーに基づく3D再構築の新しいベンチマークを確立すること。

提案手法

• イベントカメラからのイベントストリームを3D-GS最適化パイプラインに統合し、デブラーと運動推定を支援する。
• 露出時間内での動きが画像取得に与える影響をシミュレートすることで、歪み形成プロセスを明示的にモデル化する。
• 微分可能なイベントシミュレータを用いて、レンダリングされた画像を合成イベントストリームに変換し、監視に用いる。
• 画像レベルの歪み再構築損失を適用し、歪みのある入力からの微細なディテール回復を図る。
• 実際のイベントカメラが取得したイベントデータと、合成されたイベントストリームを比較することで、イベント再構築損失を実装する。
• 露出時間内に3D-GSパラメータとカメラの運動軌跡を同時に最適化し、ポーズ推定とシーン再構築の精度を向上させる。

実験結果

リサーチクエスチョン

• RQ1 イベントカメラデータは、運動歪みのある画像からの高品質な3D-GS再構築に有効に利用できるか？
• RQ2 イベントストリームを統合することで、運動歪みの影響下でもカメラポーズ推定の精度がどの程度向上するか？
• RQ3 イベントベースの監視によって、デブラー処理後の3D再構築における微細なテクスチャディテール回復がどの程度向上するか？
• RQ4 露出時間内に3D-GSと運動軌跡を同時に最適化する手法は、歪みのある入力に対して従来の3D-GS学習と比較してどのように優れているか？
• RQ5 提案手法は、最先端のデブラーおよび3D再構築技術と比較して、新規ビュー合成性能でどの程度の向上を達成するか？

主な発見

• EvaGaussiansは、EvaGaussians-DAVISデータセットで最高のRankIQAスコア5.0667を達成し、BAD-GS（6.2230）やEDNeRF（5.3200）といったベースラインを著しく上回った。
• EvaGaussians-Blender合成データセットでは、PSNRが20.09 dB、SSIMが0.2009を達成し、EDNeRF（PSNR: 19.09 dB、SSIM: 0.1909）をすべて上回った。
• 複雑なシーンにおいて、視覚的忠実度が高く、アーティファクトが著しく低減されており、オブジェクトレベルおよび再設計済みのシーンにおいて、真値画像に非常に近い再現性を示した。
• 高反射性またはスパarsなシーン（例：プール、フィカス）では性能がわずかに低下するが、EvaGaussiansは依然として最高の全体的な視覚的品質とディテール回復を維持した。
• 定量的評価では、'Desk & Chair'シーンでPSNRが21.76 dB、SSIMが0.2245を達成し、B-3DGS（PSNR: 16.21 dB、SSIM: 0.1454）を上回った。
• 本手法は、歪みのある入力からリアルタイムで高精細な新規ビュー合成を可能とし、自律走行や監視などの実世界シナリオにおける実用的応用性を示した。