[論文レビュー] Class-agnostic Reconstruction of Dynamic Objects from Videos

Zhongzheng Ren, Xiaoming Zhao+1 more|arXiv (Cornell University)|Dec 3, 2021

Advanced Vision and Imaging被引用数 6

ひとこと要約

REDOは、部分的可視性（遮蔽や限られたカメラ視点によるものも含む）がある状況下でも、RGBDまたはキャリブレーション済み動画から完全で時間的に整合性のある動的物体の4次元形状を再構築できる、クラスに依存しない4次元再構築フレームワークです。ピクセルに整合した4次元暗黙関数と4次元変換モジュールを用い、時間的視覚的情報を統合し、複雑な動きをモデル化することで、合成および実世界のベンチマークにおいて最先端の手法を大きく上回る性能を達成しています。

ABSTRACT

We introduce REDO, a class-agnostic framework to REconstruct the Dynamic Objects from RGBD or calibrated videos. Compared to prior work, our problem setting is more realistic yet more challenging for three reasons: 1) due to occlusion or camera settings an object of interest may never be entirely visible, but we aim to reconstruct the complete shape; 2) we aim to handle different object dynamics including rigid motion, non-rigid motion, and articulation; 3) we aim to reconstruct different categories of objects with one unified framework. To address these challenges, we develop two novel modules. First, we introduce a canonical 4D implicit function which is pixel-aligned with aggregated temporal visual cues. Second, we develop a 4D transformation module which captures object dynamics to support temporal propagation and aggregation. We study the efficacy of REDO in extensive experiments on synthetic RGBD video datasets SAIL-VOS 3D and DeformingThings4D++, and on real-world video data 3DPW. We find REDO outperforms state-of-the-art dynamic reconstruction methods by a margin. In ablation studies we validate each developed component.

研究の動機と目的

• 遮蔽や限られたカメラ視点によって物体が部分的にしか見えない動画から、動的物体の完全な4次元形状を再構築する課題に対処すること。
• 剛体運動、非剛体変形、関節運動といった多様な物体の運動を、カテゴリ固有の事前知識を必要とせずに統合的に処理できるフレームワークの開発。
• 未学習のカテゴリに対しても微調整なしに一般化可能な、クラスに依存しない再構築の実現。
• 標準化された4次元空間における時間的視覚的情報の統合を通じて、時間的整合性と幾何学的正確性を確保すること。

提案手法

• 視覚入力とピクセルに整合した標準化された4次元暗黙関数を導入し、複数フレームからの時間的情報を統合することで、完全な物体形状を再構築。
• 物体の運動をモデル化する4次元変換モジュールを採用し、時間的ステップ間での特徴の伝搬と統合を可能に。
• 3次元予測を2次元視覚観測と正確に一致させるために、ピクセルに整合した特徴表現（x_p, z_p）を用いることで、部分的可視性に対する耐性を向上。
• 変換器ベースのメカニズムを用いて複数フレームからの特徴を融合する微分可能時間的アグリゲーター（f_agg）を適用し、形状再構築の精度を向上。
• 学習中のネットワークを監督するため、形状再構築損失（L_shape）と時間的整合性損失（L_temp）を活用。
• 微分可能コンponentsをエンドツーエンドで学習することで、微調整なしに未学習の物体カテゴリに対してもゼロショット一般化を可能に。

実験結果

リサーチクエスチョン

• RQ1 一貫したフレームワークが、部分的可視性がある非制約動画から、多様な動的物体の完全な4次元形状を再構築できるか？
• RQ2 4次元暗黙表現を2次元視覚入力とピクセルに整合させることで、幾何学的整合性と再構築精度をどのように向上できるか？
• RQ3 微調整なしに、未学習の物体カテゴリにどの程度一般化できるか？
• RQ4 4次元変換モジュールは、剛体運動、非剛体変形、関節運動といった複雑な運動をどの程度効果的にモデル化できるか？
• RQ5 遮蔽などの困難な条件下で、ピクセル整合性と時間的統合が再構築品質に果たす貢献度はどの程度か？

主な発見

• SAIL-VOS 3Dでは、38.5 mIoU、0.479 mCham.、1.07 mACDを達成し、OFlowに比べて+5.9 mIoU、-0.085 mCham.、-0.22 mACDの向上を示した。
• DeformingThings4D++では、OFlowに比べて+2.2 mIoU、-0.063 mCham.、-0.047 mACDの向上を達成した。
• 実世界の3DPWデータセットでは、OFlowに比べて+10.1 mIoU、-0.124 mCham.、-0.061 mACDの向上を示し、優れた一般化性能を示した。
• 未学習のカテゴリ（犬、ゴリラ、パーム）におけるゼロショット評価でも、深刻な失敗を示さず、強力な一般化能力を確認した。
• 除去実験では、ピクセル整合性を除去するとmIoUが7.8ポイント低下し、時間的損失を除去するとmACDが1.65上昇したため、両者の重要性が裏付けられた。
• 定性的な結果では、REDOが遮蔽された部分（例：後輪、脚）を効果的に再構築でき、大規模な運動も捉えているが、手の動きのような細部はやや精度に欠ける傾向がある。