[論文レビュー] LASSIE: Learning Articulated Shapes from Sparse Image Ensemble via 3D Part Discovery

Chun-Han Yao, Wei-Chih Hung+4 more|arXiv (Cornell University)|Jul 7, 2022

Human Pose and Action Recognition被引用数 15

ひとこと要約

LASSIEは、2D/3Dのアノテーションや事前定義されたテンプレートが一切不要な自己教師ありフレームワークを提案し、10〜30枚の自然な画像から高品質な3次元可動動物形状を再構築する。深層特徴の一貫性と幾何的制約を用いて3次元パーツを発見し、最小限のユーザー入力で最先端の3次元再構築とパーツ発見を達成する。

ABSTRACT

Creating high-quality articulated 3D models of animals is challenging either via manual creation or using 3D scanning tools. Therefore, techniques to reconstruct articulated 3D objects from 2D images are crucial and highly useful. In this work, we propose a practical problem setting to estimate 3D pose and shape of animals given only a few (10-30) in-the-wild images of a particular animal species (say, horse). Contrary to existing works that rely on pre-defined template shapes, we do not assume any form of 2D or 3D ground-truth annotations, nor do we leverage any multi-view or temporal information. Moreover, each input image ensemble can contain animal instances with varying poses, backgrounds, illuminations, and textures. Our key insight is that 3D parts have much simpler shape compared to the overall animal and that they are robust w.r.t. animal pose articulations. Following these insights, we propose LASSIE, a novel optimization framework which discovers 3D parts in a self-supervised manner with minimal user intervention. A key driving force behind LASSIE is the enforcing of 2D-3D part consistency using self-supervisory deep features. Experiments on Pascal-Part and self-collected in-the-wild animal datasets demonstrate considerably better 3D reconstructions as well as both 2D and 3D part discovery compared to prior arts. Project page: chhankyao.github.io/lassie/

研究の動機と目的

• 2次元・3次元のアノテーションや事前定義されたテンプレートが一切ない、スパarsでアノテーションのない自然な画像から詳細な3次元可動動物形状を再構築する課題に対処すること。
• カテゴリに依存しないスケルトンベースのニューラルパーツ表現を用いて、多様な動物種に一般化すること。
• ポーズの変化や外観の変化に対しても安定した意味的・幾何的整合性を持つ3次元パーツを発見すること。
• 深層特徴と幾何的制約を活用して2次元-3次元パーツの一貫性を強制する自己教師あり最適化フレームワークの開発。
• 明示的な3次元パーツ表現を通じて、テクスチャ転送、ポーズ転送、アニメーションなどの後続応用を可能にすること。

提案手法

• ユーザーが提供する汎用的な3次元スケルトンを活用し、パーツの接続関係は定義されるが、正確な幾何形状やボーン長は定義されない。
• DINO-ViT特徴を用いて2次元-3次元対応関係と画像間の意味的一致性を強制する自己教師あり最適化により3次元パーツを発見する。
• 最適化された3次元パーツが単純なプリミティブ（例：球体、円柱）で構成される潜在形状多様体に制約されることで幾何的正則化を実装する。
• 共通の3次元パーツ形状、インスタンス固有のカメラポーズ、ボーン変換、表面テクスチャを統合的で微分可能なフレームワーク内で最適化する。
• DINO-ViTからの密な自己教師あり特徴を活用し、正例アノテーションが不要な状態で、シルエットと意味的一致性を強制する。
• 3次元パーツを2次元画像空間に投影する微分可能なレンダリングパイプラインを用い、特徴マッチングによる最適化を監視する。

実験結果

リサーチクエスチョン

• RQ1 2次元または3次元のアノテーションが一切ない10〜30枚の自然な画像から3次元可動動物形状を再構築できるか？
• RQ2 ビジョントランスフォーマーから得られる自己教師あり深層特徴が、3次元パーツ発見を効果的にガイドし、2次元-3次元の一貫性を強制できるか？
• RQ3 単純な3次元プリミティブに対する幾何的制約が、再構築パーツの品質とリアリズムを向上させられるか？
• RQ4 発見された3次元パーツ表現が、テクスチャ転送やポーズ転送といった高品質な応用をサポートできるか？
• RQ5 最小限のユーザー入力で、多様な動物種にわたって一般化できるか？

主な発見

• LASSIEはPascal-Partベンチマークで最先端の3次元再構築品質を達成し、より強い監視を用いた先行手法でさえも上回った。
• SCOPSやDINOクラスタリングと比較して、2次元パーツセグメンテーションのIOUが高く、意味的整合性とパーツ分離性（例：4本の脚を明確に区別）が優れている。
• パーツ転送評価では、画像ペア間で高いPCP（正しく予測されたピxlsの割合）が得られ、3次元パーツの一貫性と転送可能性が確認された。
• 3次元ニューラルパーツ表現により、異なる動物種間でリアルなテクスチャ転送とポーズ転送が可能であることが図6で示された。
• LASSIEは明示的で操作可能なパーツを備えた高品質で幾何的に洗練された3次元形状を生成し、アニメーションや編集などの応用を可能にした。
• 最小限のユーザー介入で、複数の動物種にわたる自作の自然な画像アセンブリに対しても、良好な一般化性能を示した。