[論文レビュー] DeblurGS: Gaussian Splatting for Camera Motion Blur

Jeongtaek Oh, Jaeyoung Chung+2 more|arXiv (Cornell University)|Apr 17, 2024

Advanced Image Processing Techniques被引用数 4

ひとこと要約

DeblurGS は、動きぼけした画像からシャープな 3D ガウス過程スプラッタリングを、カメラの運動推定とシーン幾何の最適化を同時に実行することで最適化する最初の手法である。ノイズの多い SfM によるカメラポーズ初期化でも、新規のガウス密度希釈アニーリング戦略とサブフレームアライメントを用いることで、実世界のスマートフォン動画においても、最先端のぼけ除去および新規ビュー合成性能を達成する。

ABSTRACT

Although significant progress has been made in reconstructing sharp 3D scenes from motion-blurred images, a transition to real-world applications remains challenging. The primary obstacle stems from the severe blur which leads to inaccuracies in the acquisition of initial camera poses through Structure-from-Motion, a critical aspect often overlooked by previous approaches. To address this challenge, we propose DeblurGS, a method to optimize sharp 3D Gaussian Splatting from motion-blurred images, even with the noisy camera pose initialization. We restore a fine-grained sharp scene by leveraging the remarkable reconstruction capability of 3D Gaussian Splatting. Our approach estimates the 6-Degree-of-Freedom camera motion for each blurry observation and synthesizes corresponding blurry renderings for the optimization process. Furthermore, we propose Gaussian Densification Annealing strategy to prevent the generation of inaccurate Gaussians at erroneous locations during the early training stages when camera motion is still imprecise. Comprehensive experiments demonstrate that our DeblurGS achieves state-of-the-art performance in deblurring and novel view synthesis for real-world and synthetic benchmark datasets, as well as field-captured blurry smartphone videos.

研究の動機と目的

• 動きぼけした画像から 3D シーンを再構築する課題に取り組むこと。特に、ぼけの影響を受けるため、SfM からのカメラポーズ初期化が著しく不正確である場合に焦点を当てる。
• 既存の NeRF ベースのぼけ除去手法が、現実の状況では不切実な「既知」または「綺麗な」カメラポーズに依存しているという制限を克服すること。
• SfM が信頼できる初期ポーズを生成できない実世界の高速移動するぼやけたスマートフォン動画から、実用的な 3D 再構築を可能にすること。
• 微分可能レンダリングとぼけシミュレーションを用いて、カメラ運動と 3D シーン幾何を同時に最適化する、頑健な最適化フレームワークを開発すること。
• 新しいトレーニング戦略を導入することで、3D ガウススプラッタリングが、不良な初期条件であってもぼけ除去に効果的に活用可能であることを示すこと。

提案手法

• DeblurGS は、推定された運動軌跡に沿って蓄積レンダリングすることでぼけをシミュレートし、各ぼけた入力画像について 3D ガウススプラッタリングと 6-DoF カメラ運動を同時に最適化する。
• 学習可能なアライメントパラメータを用いて、連続的なカメラ運動軌跡に沿ってサブフレームをサンプリングし、ぼけレンダリングを合成することで、正確なぼけモデリングを実現する。
• 合成されたぼけた画像と実際の入力ぼけ画像との間の L2 ロスを最小化する微分可能レンダリングパイプラインを採用する。
• 初期トレーニング段階でカメラ運動が不正確である間、誤ったガウスの生成を防ぐために、ガウス作成の密度閾値を段階的に増加させる新規のガウス密度希釈アニーリング戦略を採用する。
• 隣接するサブフレームレンダリング間の時間的滑らかさ損失を適用し、ジタリングアーチファクトを抑制し、最適化の安定性を確保する。
• ぼけ合成時にガンマ補正を適用することで、実際のカメラ応答をよりよくシミュレートし、レンダリングの忠実性と最適化収束性を向上させる。

実験結果

リサーチクエスチョン

• RQ1 SfM からの高い誤差を伴う初期カメラポーズを用いても、3D ガウススプラッタリングをぼけ除去に効果的に適応できるか？
• RQ2 カメラ運動が不正確でノイズが多い初期トレーニング段階で、3D ガウススプラッタリングの最適化をどのように安定化できるか？
• RQ3 運動軌跡に沿ったサブフレームサンプリングが、ぼけ合成の正確性と最終的なぼけ除去品質を向上させる役割を果たすか？
• RQ4 ガウス密度希釈アニーリング戦略が、誤った初期ポーズによって引き起こされる浮遊アーチファクトの抑制に与える影響は何か？
• RQ5 ぼけとポーズ誤差が著しい実世界の高速移動スマホ動画において、DeblurGS が最先端のパフォーマンスを達成できるか？

主な発見

• DeblurGS は、合成および実世界のデータセットにおいて、すべての先行 NeRF ベースおよび 3DGS ベースの手法を上回る、ぼけ除去および新規ビュー合成の最先端パフォーマンスを達成した。
• ExBlur-NP ベンチマークでは、PSNR 32.15、SSIM 0.942、LPIPS 0.052 を達成し、クリーンなポーズを用いた ExBluRF と同等の性能を発揮したが、ノイズの多い SfM 初期化からの出発である。
• 実際のスマートフォン動画から COLMAP で初期化されたポーズを用いても、複雑なシーンにおいても高品質な再構築を維持し、シャープなディテールを回復した。
• アブレーションスタディにより、時間的滑らかさ損失、ガウス密度希釈アニーリング、アライメントパラメータ、ガンマ補正の各要素が最適パフォーマンスを発揮するために不可欠であることが確認された。
• 実世界の動画実験では、30 fps のスマートフォン動画を 6 秒未満で処理し、ぼけのない 3D シーンを再構築に成功し、実用的応用の有効性を示した。
• ガウス密度希釈アニーリング戦略は、初期最適化段階で誤った位置にガウスが生成されるのを防ぐことで、浮遊アーチファクトを顕著に低減し、再構築品質を向上させた。