[論文レビュー] Recovering 3D Shapes from Ultra-Fast Motion-Blurred Images

Fei Yu, Shudan Guo+4 more|arXiv (Cornell University)|Feb 8, 2026

Advanced Image Processing Techniques被引用数 0

ひとこと要約

論文は高速運動ブラー画像から3D形状を復元するための微分可能な逆レンダリングフレームワークと高速バリセントリックソルバーを提案し、翻訳・回転形状復元を可能とし、従来手法より優れた結果を示す。

ABSTRACT

We consider the problem of 3D shape recovery from ultra-fast motion-blurred images. While 3D reconstruction from static images has been extensively studied, recovering geometry from extreme motion-blurred images remains challenging. Such scenarios frequently occur in both natural and industrial settings, such as fast-moving objects in sports (e.g., balls) or rotating machinery, where rapid motion distorts object appearance and makes traditional 3D reconstruction techniques like Multi-View Stereo (MVS) ineffective. In this paper, we propose a novel inverse rendering approach for shape recovery from ultra-fast motion-blurred images. While conventional rendering techniques typically synthesize blur by averaging across multiple frames, we identify a major computational bottleneck in the repeated computation of barycentric weights. To address this, we propose a fast barycentric coordinate solver, which significantly reduces computational overhead and achieves a speedup of up to 4.57x, enabling efficient and photorealistic simulation of high-speed motion. Crucially, our method is fully differentiable, allowing gradients to propagate from rendered images to the underlying 3D shape, thereby facilitating shape recovery through inverse rendering. We validate our approach on two representative motion types: rapid translation and rotation. Experimental results demonstrate that our method enables efficient and realistic modeling of ultra-fast moving objects in the forward simulation. Moreover, it successfully recovers 3D shapes from 2D imagery of objects undergoing extreme translational and rotational motion, advancing the boundaries of vision-based 3D reconstruction. Project page: https://maxmilite.github.io/rec-from-ultrafast-blur/

研究の動機と目的

• 超高速運動ブラー下で伝統的なMVSが機能しなくなる状況で3D形状復元の動機づけ。
• 極端な運動ブラー下で形状復元を逆レンダリング問題として定式化。
• 高速かつ微分可能な運動ブラーレンダラーと高速バリセントリック座標ソルバーを開発。
• 多視点ブラー画像からの頑健な3D形状と外観復元を実現。
• 平移および回転の高速運動と実データで手法を検証。

提案手法

• 高速バリセントリック座標ソルバーを導入し、二次式/分母係数を事前計算して1フレーム評価でKフレームをレンダリング。
• 運動を線形セグメントに分解し、セグメントごとにレンダリングフレームを平均化して微分可能な運動ブラーレンダリングを開発。
• 前景ピクセルと背景ピクセルのモデリングを分離し、背景ピクセルには確率的影響項を導入して運動ブラーを処理。
• 運動ブラーレンダリングを通して解析的勾配を提供し、逆レンダリングベースの形状最適化を可能に。
• セグメントごとの前方・後方パスを適用して、画像損失と正則化項を最小化することで3D形状を復元。

実験結果

リサーチクエスチョン

• RQ1 超高速の移動（平行移動と回転）で severely blurred な画像から3D形状を復元できるか？
• RQ2 高速バリセントリックソルバーを微分可能レンダラーに組み込むと、ブラー入力に対して効率的かつ正確な逆レンダリングが可能になるか？
• RQ3 提案手法は平移ブラーと回転ブラー、および実世界データで従来手法と比べてどのように性能が異なるか？
• RQ4 既知のカメラ/運動パラメータを用いた逆レンダリングアプローチの利点と制限は何か？

主な発見

方法	translation	rotation	3D IoU ↑	Static PSNR ↑	Blurred PSNR ↑
[33]	-	-	0.152	11.63	13.58
Ours	-	-	0.679	19.20	31.89
G.T.	-	-	-	-	-

• 提案手法は平移ブラーでの最先端と比較して3D IoUとPSNRの優越を示す（IoU 0.679 vs 0.152、Static PSNR 19.20 vs 11.63、Blurred PSNR 31.89 vs 13.58）。
• 大規模メッシュでの運動ブラー合成においてSoftRasより最大4.57×、Nvdiffrastより1.23×の高速化を達成し、前方レンダリングと勾配計算を効率化。
• 微分可能でエンドツーエンドの逆レンダリングにより、平移および回転の両方のシナリオで多視点の超高速ブラー画像から3D形状とテクスチャの復元を可能に。
• 実世界の実験では、従来法より高いBlurred-PSNR（24.52 dB 対 12.51 dB）を達成し、運動ブラー画像から合理的な形状を復元。
• アブレーション研究により、提案アプローチがNvdiffrastより収束を早め、勾配をよりロバストにし、SoftRasベースのベースラインより大幅な速度と精度の向上を示す。