[論文レビュー] Shape from Blur: Recovering Textured 3D Shape and Motion of Fast Moving Objects

Denys Rozumnyi, Martin R. Oswald+2 more|arXiv (Cornell University)|Jun 16, 2021

Advanced Image Processing Techniques被引用数 5

ひとこと要約

本稿では、1枚の運動歪み画像から高速移動物体のテクスチャ付き3次元形状、動き、シャープな外観を同時に再構築する新規手法Shape from Blur (SfB) を提案する。3次元空間で物体の形状、動き、テクスチャをモデル化し、正則化を施した微分可能レンダリングを最適化することで、最先端の復元性能を達成し、時間的スーパーサンプリングおよび新規視点合成を可能にし、ベンチマークにおいて2次元のみの手法を顕著に上回る性能を発揮する。

ABSTRACT

We address the novel task of jointly reconstructing the 3D shape, texture, and motion of an object from a single motion-blurred image. While previous approaches address the deblurring problem only in the 2D image domain, our proposed rigorous modeling of all object properties in the 3D domain enables the correct description of arbitrary object motion. This leads to significantly better image decomposition and sharper deblurring results. We model the observed appearance of a motion-blurred object as a combination of the background and a 3D object with constant translation and rotation. Our method minimizes a loss on reconstructing the input image via differentiable rendering with suitable regularizers. This enables estimating the textured 3D mesh of the blurred object with high fidelity. Our method substantially outperforms competing approaches on several benchmarks for fast moving objects deblurring. Qualitative results show that the reconstructed 3D mesh generates high-quality temporal super-resolution and novel views of the deblurred object.

研究の動機と目的

• 高速移動物体（FMO）の1枚の画像からの復元を課題とする。従来の2次元復元手法では、複雑な3次元の動きをモデル化できないため、その限界を克服する。
• 2次元外観モデルを越えて、FMOの3次元形状、テクスチャ、および3次元移動・回転を同時に推定する。
• 物体のシャープでテクスチャのある3次元メッシュを回復することで、高品質な時間的スーパーサンプリングおよび新規視点合成を実現する。
• 2次元畳み込みモデルよりも、運動歪みをより適切に説明できる、きめ細やかな3次元ベースの画像形成モデルを提供する。
• 3次元モデリングが、従来の2次元のみのアプローチと比較して、優れた復元性能と再構築の正確性をもたらすことを実証する。

提案手法

• 本手法は、露出時間中に一定の3次元移動と回転を示す3次元オブジェクトと背景の組み合わせとして、入力画像をモデル化する。
• 微分可能レンダラを用いて3次元テクスチャ付きメッシュを2次元画像空間に投影し、レンダリング画像と入力画像の再構築誤差を最小化する。
• 形状、動き、外観の正則化により最適化をガイドする。テクスチャの全変動とぼやけ核のスパarsityを含む。
• 学習済みの3次元形状プロトタイプ（例：球体、平面）を用いたテスト時最適化パイプラインを採用し、観測された歪みに合わせて変形させる。
• エンドツーエンド最適化により、初期の6自由度（6-DoF）ポーズ、3次元移動、3次元回転、およびシャープなテクスチャを同時に推定する。
• マットイングマスクを組み込み、画像再構築と幾何的整合性の両方を含む損失関数を用いる。

実験結果

リサーチクエスチョン

• RQ1 1枚の画像からの復元において、3次元形状・動き・テクスチャのモデリングが2次元のみの手法よりも、より優れた再構築と復元性能をもたらすか？
• RQ2 3次元形状の変形を伴う微分可能レンダリングにより、1枚のぼやけた入力から、よりシャープで正確な復元画像および時間的スーパーサンプリングが可能か？
• RQ3 3次元の動き（移動と回転）をモデル化することで、2次元の動きモデルと比較して、オブジェクトの幾何学的形状と外観の回復がどの程度向上するか？
• RQ4 教師なしまたは高フレームレートカメラを用いない単一画像手法が、高速移動物体の3次元形状と動きをどの程度正確に回復できるか？
• RQ5 回復された3次元形状が、1枚のぼやけた画像から新規視点合成および高品質な動画生成を可能にするか？

主な発見

• SfBは、高速移動物体の復元に関するベンチマークデータセットで最先端の性能を達成し、汎用的およびFMO専用の2次元復元手法を顕著に上回る。
• 本手法は、1枚のぼやけた画像から任意の高いフレームレートでの動画生成が可能な高品質な時間的スーパーサンプリングを実現した。
• 新規視点合成が成功裏に実装され、1枚の入力画像から60°の角度範囲にわたる一貫性のある視点が生成された。
• アブレーションスタディの結果、すべての損失項、7つのプロトタイプ（うち4つは干渉要因）を用い、統合ステップ数を5倍に増やすことで性能が向上したが、最適化に時間がかかることが判明した。
• 画像ノイズや圧縮アーチファクトが存在しても、再投影誤差の最小化により、本手法は高いロバスト性を維持した。
• 本手法は、1枚の運動歪み画像から3次元形状、動き、シャープなテクスチャを同時に推定する初の手法であり、分野における新たなベンチマークを確立した。