[論文レビュー] CASA: Category-agnostic Skeletal Animal Reconstruction

Yuefan Wu, Zeyuan Chen+3 more|arXiv (Cornell University)|Nov 4, 2022

Human Pose and Action Recognition被引用数 12

ひとこと要約

CASAは、CLIPベースの動画から形状への検索により、適切な3Dキャラクターテンプレートを事前に取得し、神経逆画像フレームワークを用いて形状、スケルトン構造、スキンニングウェイト、関節角度を同時に最適化することで、モノクロナル動画からのカテゴリに依存しない骨格付き動物再構築手法を提案する。本手法は4D再構築で最先端の性能を達成し、カテゴリ固有の事前知識を必要とせず、多様な動物のリアルな再アニメーションを可能にする。

ABSTRACT

Recovering the skeletal shape of an animal from a monocular video is a longstanding challenge. Prevailing animal reconstruction methods often adopt a control-point driven animation model and optimize bone transforms individually without considering skeletal topology, yielding unsatisfactory shape and articulation. In contrast, humans can easily infer the articulation structure of an unknown animal by associating it with a seen articulated character in their memory. Inspired by this fact, we present CASA, a novel Category-Agnostic Skeletal Animal reconstruction method consisting of two major components: a video-to-shape retrieval process and a neural inverse graphics framework. During inference, CASA first retrieves an articulated shape from a 3D character assets bank so that the input video scores highly with the rendered image, according to a pretrained language-vision model. CASA then integrates the retrieved character into an inverse graphics framework and jointly infers the shape deformation, skeleton structure, and skinning weights through optimization. Experiments validate the efficacy of CASA regarding shape reconstruction and articulation. We further demonstrate that the resulting skeletal-animated characters can be used for re-animation.

研究の動機と目的

• カテゴリ固有の事前知識やアノテーションに依存せずに、制約のないモノクロナル動画から3D骨格付き動物を再構築する課題に対処すること。
• 制御点や自由形式変形を用いる従来の手法が、アニメーション可能でトポロジーが一貫したスケルトンを生成できないという限界を克服すること。
• 多様な動物カテゴリ、特に未観測の種を含む、一般化可能なフレームワークを構築すること。
• 包括的な評価のため、真値の3D形状、スケルトン、リギングを備えた大規模でリアルな合成データセットPlanetZooを構築すること。
• 標準のアニメーションパイプラインと互換性のあるスケルトンメッシュを生成することで、後続の再アニメーションを可能にすること。

提案手法

• 事前学習済みCLIPモデルを用いた動画から形状への検索プロセスにより、画像・テキストのアライメントに基づき、大規模なアセットバンク内の3Dキャラクターと入力動画を照合する。
• 取得された3Dキャラクターが、形状変形、スケルトン構造（ボーン長さと関節角度）、スキンニングウェイトを同時に最適化する神経逆画像フレームワークの初期化に用いられる。
• 最適化フレームワークには、マスク整合性、オプティカルフロー整合性、対称性正則化、滑らかさの複数のエネルギー項が組み込まれ、幾何的・時間的整合性を確保する。
• 変形中に局所的な不連続性を避けるために、グローバルな形状整合性を維持するための伸縮可能なスケルトン変形モデルが使用される。
• レンダリングされた画像と入力動画フレームを比較するための微分可能レンダリングパイプラインを採用し、エンドツーエンドの最適化を可能にする。
• CLIPベースの検索を用いた新しい初期化戦略は、ランダムまたはk-meansベースの初期化と比較して、顕著に高い再構築品質を実現する。

実験結果

リサーチクエスチョン

• RQ1 カテゴリに依存しない手法は、カテゴリ固有の事前知識やアノテーションに依存せずに、制約のないモノクロナル動画からリアルな3D骨格付き動物を再構築できるか？
• RQ2 CLIPベースの動画から形状への検索は、多様な種にわたり、正確な3D動物再構築の初期化にどの程度有効か？
• RQ3 ボーンレベルの変形と比較して、伸縮可能なスケルトンモデルを組み込むことで、形状と関節可動性の質はどの程度向上するか？
• RQ4 異なる最適化コンponent（例：フロー、対称性、滑らかさ）は、再構築の忠実性と耐障害性にどの程度寄与するか？
• RQ5 再構築された3D骨格付き動物は、新しいポーズにうまくリターゲティングされ、アニメーション可能か？

主な発見

• CASAは、合成データセットPlanetZooおよび実世界のDAVISデータセットの両方で最先端の性能を達成し、平均IOUが0.512、平均チェンバーディスタンスが0.053を記録した。
• アブレーションスタディの結果、マスク整合性項を除去すると性能が最も著しく低下し、形状再構築においてその重要性が示された。
• CLIPを用いた検索は、ImageNetベースの検索（mIOU: 0.111）と比較して顕著に優れた結果（mIOU: 0.512）をもたらし、意味的アライメントの重要性を裏付けた。
• 伸縮可能なボーン変形の導入により、鼻や口付近の不連続性などの視覚的アーチファクトが低減され、幾何的整合性が向上した。
• 検索による初期化は不可欠である。k-meansや固定スキンニングウェイト初期化では顕著に悪い結果（mIOU: 0.305–0.433）が得られた。
• 再構築された3Dキャラクターはアニメーション可能であり、新しいポーズに成功裏にリターゲティング可能であり、後続のアニメーションタスクにおける実用的価値を示した。