[論文レビュー] Online Adaptation for Consistent Mesh Reconstruction in the Wild

Xueting Li, Sifei Liu+5 more|arXiv (Cornell University)|Dec 6, 2020

Advanced Vision and Imaging被引用数 19

ひとこと要約

本論文は、3Dアノテーション、2Dキーポイント、カメラポーズを一切必要とせずに、野生の動画から変形可能なオブジェクトの時間的に一貫性のある3Dメッシュ再構成を実現するオンライン適応フレームワークを提案する。UVテクスチャ、形状、パーツ対応の自己教師付き時間的整合性を活用することで、テスト時適応中にメッシュ予測を安定化・精緻化し、非剛体の動物（鳥やシマウマなど）を非構造的なインターネット動画からも頑健に再構成することに成功した。

ABSTRACT

This paper presents an algorithm to reconstruct temporally consistent 3D meshes of deformable object instances from videos in the wild. Without requiring annotations of 3D mesh, 2D keypoints, or camera pose for each video frame, we pose video-based reconstruction as a self-supervised online adaptation problem applied to any incoming test video. We first learn a category-specific 3D reconstruction model from a collection of single-view images of the same category that jointly predicts the shape, texture, and camera pose of an image. Then, at inference time, we adapt the model to a test video over time using self-supervised regularization terms that exploit temporal consistency of an object instance to enforce that all reconstructed meshes share a common texture map, a base shape, as well as parts. We demonstrate that our algorithm recovers temporally consistent and reliable 3D structures from videos of non-rigid objects including those of animals captured in the wild -- an extremely challenging task rarely addressed before.

研究の動機と目的

• 野生の動画から3D監督が乏しいもしくは存在しない状況において、非剛体で変形可能なオブジェクトの時間的に一貫性のある3Dメッシュ再構成を実現する課題に取り組むこと。
• 制約のない現実世界の環境で撮影された動物やその他の複雑な非剛体オブジェクトの頑健な3D再構成を可能にすること。
• 3D監督やカメラポーズの真値を一切使用せず、動画データと自己教師付き時間的整合性のみを用いて、テスト時適応戦略によりメッシュ品質を向上させること。
• 対称形状の仮定を排除し、現実的な非剛体変形を再現するために、できるだけ剛体に近い（ARAP）制約を組み込むこと。
• 単一視点画像で訓練されたカテゴリ特化型モデルを、新しい動画シーケンスにオンラインで適応可能にするように一般化を実現すること。

提案手法

• 弱い監督（前景シルエット、一部のモデルでは2Dキーポイント、RGBおよび形状の微分可能レンダリングによる監督）を用いて、単一視点画像上でカテゴリ特化型3D再構成モデルを訓練する。
• 推論段階では、テスト時学習を用いて自己教師付き正則化項を導入し、テスト動画にオンラインでモデルを適応させる。
• 時間的整合性は、UVテクスチャ空間における不変性制約により確保され、全フレームで共通のテクスチャマップと一貫したパーツ対応を実現する。
• 基本形状を全フレームにわたって不変にすることで、適応中におけるメッシュ幾何の安定化を図る。
• テスト時適応中に、対称性を仮定しない現実的な非剛体変形を保つために、できるだけ剛体に近い（ARAP）制約を適用する。
• 動画フレームを順次処理するスライディングウインドウ方式を採用し、短い時間的クリップ内で整合性損失を適用することで、安定性と一般化性能を向上させる。

実験結果

リサーチクエスチョン

• RQ1 UVテクスチャ、形状、パーツ対応における自己教師付き時間的整合性は、非構造的動画からの3Dメッシュ再構成を改善できるか？
• RQ2 3Dアノテーションや真値のカメラポーズを一切使用せず、テスト時適応により3Dメッシュ予測を安定化・精緻化できるか？
• RQ3 本手法は、野生で撮影された鳥やシマウマのような非剛体的かつ非対称な動物に対しても一般化可能か？
• RQ4 ARAPによる対称形状の仮定の排除は、複雑な変形における再構成品質を向上させるか？
• RQ5 単一視点画像で学習したモデルが、動画レベルの自己教師付き監督のみを用いて、テスト時に新しい動画インスタンスに効果的に適応可能か？

主な発見

• 本手法は、3D監督が乏しい非構造的で現実世界の動画からも、非剛体の動物（鳥やシマウマなど）に対して時間的に一貫性のある3Dメッシュ再構成を達成した。これは、かつてほとんど取り組まれなかったタスクである。
• UVテクスチャおよびパーツ対応における自己教師付き時間的整合性が、メッシュ予測の安定化を著しく促進し、時間的ジッタを顕著に低減した。
• ARAP制約により、頭部の傾きや四肢の動きといった複雑な非対称な変形も正確に再構成可能となった。
• 単一視点画像からの学習のみで、動画データを一切使用しないにもかかわらず、同じカテゴリの新しいオブジェクトインスタンスに対しても良好な一般化性能を示した。
• 大きな動き、隠蔽、照明変化が生じる場合に失敗が発生し、主に自己教師付きUVCモデルにおけるパーツ伝搬エラーに起因する。
• 時間的整合性が重要な動画設定において、単一視点再構成に依存するベースライン手法に比べ、本手法が優れた性能を示した。