[論文レビュー] 3D Menagerie: Modeling the 3D shape and pose of animals

Silvia Zuffi, Angjoo Kanazawa+2 more|arXiv (Cornell University)|Nov 23, 2016

3D Shape Modeling and Analysis参考文献 30被引用数 8

ひとこと要約

本論文では、おもちゃのフィギュリン41体のスキャンデータのみから学習した統計的3D形状およびポーズモデル、SMALを提案する。新しいパーツベース登録法（GLoSS）と共登録およびPCAを用いた反復的精錬を用いることで、モデルは実際の動物や未学習の種にまで一般化可能であり、キーポイントとシルエットを用いた2D画像への正確な3Dフィッティングを可能にする。

ABSTRACT

There has been significant work on learning realistic, articulated, 3D models of the human body. In contrast, there are few such models of animals, despite many applications. The main challenge is that animals are much less cooperative than humans. The best human body models are learned from thousands of 3D scans of people in specific poses, which is infeasible with live animals. Consequently, we learn our model from a small set of 3D scans of toy figurines in arbitrary poses. We employ a novel part-based shape model to compute an initial registration to the scans. We then normalize their pose, learn a statistical shape model, and refine the registrations and the model together. In this way, we accurately align animal scans from different quadruped families with very different shapes and poses. With the registration to a common template we learn a shape space representing animals including lions, cats, dogs, horses, cows and hippos. Animal shapes can be sampled from the model, posed, animated, and fit to data. We demonstrate generalization by fitting it to images of real animals including species not seen in training.

研究の動機と目的

• 四足歩行哺乳類の3D統計的形状モデルを開発し、人間のボディモデリング技術を動物に拡張する。
• 生体のスキャンが現実的でないため、動物の3Dデータが限られているという課題に対処する。
• 少量のおもちゃスキャンデータを用いて、実際の動物や未学習の種に一般化可能なモデルを実現する。
• 形状サンプリング、ポーズ制御、アニメーション、2D画像データへのフィッティングをサポートする再利用可能なアーティキュレーテッド3Dモデルを構築する。

提案手法

• おもちゃスキャンを共通のテンプレートメッシュに粗くパーツベースで登録するための新規グローバルローカルステッチドシェイプ（GLoSS）モデルを用いる。
• アスリジッドアズポssブル（ARAP）変形を適用してテンプレートの登録を各スキャンに精錬し、モデルフリーなアライメントを実現する。
• 精錬されたスキャンをポーズ正規化し、主成分分析（PCA）を用いて低次元の形状空間を学習する。これはSMPLに類似している。
• 統計モデルを用いてテンプレートをすべてのスキャンに共登録する反復的最適化を実施し、形状空間と登録結果を同時に精錬する。
• 線形ブレンドスキンニングと学習されたブレンドウェイトを用いて、アーティキュレーテッドポーズ制御を可能にするスキンデッドマルチアノーマルラインアーリング（SMAL）モデルを構築する。
• キーポイント、シルエット、形状／ポーズの事前分布項を含むマルチ項エネルギー関数を用いて2D画像にSMALモデルをフィットさせる。最適化は段階的精錬により実行する。

実験結果

リサーチクエスチョン

• RQ1 おもちゃフィギュリンのスキャンデータという少数のデータセットから、動物向けの3D統計的形状モデルを成功裏に訓練できるか？
• RQ2 このようなモデルは、学習データに含まれない実際の動物にも一般化可能か？
• RQ3 極端な形態的差異を示す多様な四足歩行目（例：ライオン、ネコ、イヌ、馬、牛、ハイエナ）の間で、形状の変動をどれほど正確に捉えられるか？
• RQ4 2Dキーポイントとシルエットのみを用いて、2D画像データにモデルをどれほど正確にフィットさせられるか？
• RQ5 2Dアノテーションのノイズやポーズ推定における深度の曖昧さに対し、モデルはどれほど頑健か？

主な発見

• SMALモデルは、訓練データに含まれない実際の動物に対しても成功裏に一般化され、2D画像への正確な3Dフィッティングが実証された。
• 41体のおもちゃスキャンのみを用いても、ライオン、ネコ、イヌ、馬、牛、ハイエナといった多様な家族の顕著な形状変動を捉えている。
• 手動でアノテートされた20個のキーポイントとセグメンテーションを用いて実際の動物の画像にフィットさせた結果、多様なポーズにおいて妥当で現実的な3D再構築が得られた。
• ライオンの雄たけ、馬の脚、ハイエナの顔といった極端な特徴に対しても良好に動作し、強力な形状一般化能力を示している。
• ボア、ラクダ、ヤギ、ブタといった新しい種にも一般化可能であるが、ブタのスナウルのような極めて特化した特徴を捉えるには若干限界がある。
• 1台の標準Linuxマシンで1枚の画像に対する最適化が1分未塔で実行可能であり、実用的利用における計算可能性を示している。