[論文レビュー] AnthroNet: Conditional Generation of Humans via Anthropometrics

Francesco Picetti, Shrinath Deshpande+15 more|arXiv (Cornell University)|Sep 7, 2023

Human Pose and Action RecognitionComputer Science被引用数 3

ひとこと要約

AnthroNetは、100,000体の合成されたポーズ付き人体メッシュでエンドツーエンドに訓練された、広範な人体計測測定値に条件付けられた高解像度3D人体メッシュを生成する深層生成モデルである。このモデルはSMPL-XとAnthroNetメッシュ間の正確な双方向変換を可能にし、学術研究向けに公開可能な合成データ生成ツールを提供する。

ABSTRACT

We present a novel human body model formulated by an extensive set of anthropocentric measurements, which is capable of generating a wide range of human body shapes and poses. The proposed model enables direct modeling of specific human identities through a deep generative architecture, which can produce humans in any arbitrary pose. It is the first of its kind to have been trained end-to-end using only synthetically generated data, which not only provides highly accurate human mesh representations but also allows for precise anthropometry of the body. Moreover, using a highly diverse animation library, we articulated our synthetic humans' body and hands to maximize the diversity of the learnable priors for model training. Our model was trained on a dataset of $100k$ procedurally-generated posed human meshes and their corresponding anthropometric measurements. Our synthetic data generator can be used to generate millions of unique human identities and poses for non-commercial academic research purposes.

研究の動機と目的

• 広範な客観的人体計測測定値に条件付けられた高解像度で表現力のある人体モデルの開発。
• 実際の人間スキャンやモーションキャプチャデータに依存しないように、完全に合成生成データでの学習によりその依存を排除すること。
• 既存のモデルとの相互運用性を確保するため、SMPL-XとAnthroNetメッシュ間の正確な双方向登録を可能にすること。
• 非営利の学術的利用を目的として、公開可能な合成データ生成ツールの提供により、多様性と再現可能性を促進すること。
• 学習されたレジレッサーを用いて、任意の3Dスキャンやボディモデルから正確な人体計測測定値を抽出すること。

提案手法

• 100,000体の手続き的に生成された、複数の被験者・複数のポーズを持つ3D人体メッシュと関連する人体計測測定値を用いて、エンドツーエンドにモデルを訓練する。
• 深層生成アーキテクチャが、潜在ベクトルZと符号化された人体計測測定値Aを入力として、バインドポーズメッシュX̃b^Aにデコードする。
• メッシュスキンナとポージングブロックが、任意の所望のポーズθに適応するためのポーズ固有の補正オフセットΔX̃θ^Aを適用してメッシュをアニメートする。
• 学習された事前分布の多様性を最大化するために、多様なアニメーションライブラリを活用する。
• 双方向変換を可能にする2つの登録パイプラインが、SMPL-XとAnthroNetメッシュ間の相互運用性を保証する。
• 人体計測測定値レジレッサーを訓練し、実スキャンや他のモデルから測定値を抽出可能にし、普遍的な測定値抽出を実現する。

実験結果

リサーチクエスチョン

• RQ1 深層生成モデルは、人体計測測定値のみに条件付けられた高解像度3D人体メッシュを生成できるか？
• RQ2 合成データのみで、実世界のスキャンやモーションキャプチャデータなしに、正確かつ多様な人体モデリングが可能か？
• RQ3 AnthroNetとSMPL-X間の双方向登録は、形状およびポーズの忠実度をどの程度維持できるか？
• RQ4 モデルは任意の3Dスキャンやボディモデルから高精度で人体計測測定値を抽出する一般化能力を有するか？
• RQ5 包括的な人体計測記述子を用いることで、人体形状の多様性と忠実度のモデリングにどのような影響を与えるか？

主な発見

• AnthroNetは、SMPL-Xの3倍以上の解像度を持つ3D人体メッシュを生成し、人体計測入力に高い忠実度を達成している。
• 100,000体の合成生成された多様でポーズラベルが付与された人体メッシュを用いてエンドツーエンドに訓練されており、実際の人間データの必要性が排除されている。
• 双方向登録パイプラインにより、SMPL-XとAnthroNetメッシュ間の正確な変換が可能となり、既存のツールとの統合が促進されている。
• 人体計測測定値レジレッサーにより、メッシュ固有のキャリブレーションなしに、任意の3Dスキャンやボディモデルから30以上の測定値を正確に抽出可能である。
• 合成データ生成ツールは非営利の学術的利用を目的として公開されており、今後の研究における再現可能性と多様性を支援している。
• HBWデータセットにおける性能評価では、事前学習済み画像レジレッサーと組み合わせた場合、ミリメートルレベルの誤差で競争力ある再構成精度を達成している。