[論文レビュー] AVATAR: Blender add-on for fast creation of 3D human models

Jordi Sànchez-Riera, Aniol Civit+2 more|arXiv (Cornell University)|Mar 26, 2021

3D Shape Modeling and Analysis参考文献 6被引用数 5

ひとこと要約

AVATAR は、意味的形状制御、統合された衣装ライブラリ、BVH 動作転送を備えた、リアルな衣装を着た 3D ヒューマンモデルを素早く直感的につくることができる Blender アドオンです。MakeHuman のパラメトリックモデルに基づいて構築されており、ワンクリック生成、スクリプトによるカスタマイズ、Blender のエコシステムへのシームレスな統合により、研究および産業分野における迅速なプロトタイピング、データセット作成、アニメーションが可能になります。

ABSTRACT

Create an articulated and realistic human 3D model is a complicated task, not only get a model with the right body proportions but also to the whole process of rigging the model with correct articulation points and vertices weights. Having a tool that can create such a model with just a few clicks will be very advantageous for amateurs developers to use in their projects, researchers to easily generate datasets to train neural networks and industry for game development. We present a software that is integrated in Blender in form of add-on that allows us to design and animate a dressed 3D human models based on Makehuman with just a few clicks. Moreover, as it is already integrated in Blender, python scripts can be created to animate, render and further customize the current available options.

研究の動機と目的

• 適切な比率、衣装、アニメーションを備えたリアルなリグged 3D ヒューマンモデルを作成する際の高い複雑さと時間コストを低減すること。
• モデリング、リグギング、アニメーションのワークフローの摩擦を減らすために、Blender 内部に直接ヒューマンモデルメーカーを統合すること。
• 形状、衣装、ポーズのバリエーションを制御可能な形で、大規模かつ多様な 3D ヒューマンデータセットを生成できるようにすること。
• 動的キャラクタ生成および物理的感知衣装シミュレーションに対応できる、スクリプタブルで拡張可能な環境を提供すること。
• MakeHuman の外部通信プロトコルの制限や、Manuel Bastioni Lab のようなツールにおける衣装サポートの欠如といった、既存ツールの限界を克服すること。

提案手法

• MakeHuman に基づくパラメトリックボディモデルを用い、主成分分析（PCA）を形状サブセットに適用することで、7つの意味的属性（例：体重、身長）によって形状を制御。解釈可能性を保つ。
• 法線マップを備えた高解像度でテクスチャリングされた衣装メッシュのライブラリを統合。アニメーション時のボディメッシュとの干渉を避けるために事前処理済み。
• スケルトンのスケーリング、ボーン対応マッピング、軸基準変換を含む BVH 動作転送パイプラインを実装。これにより、ソースモーションをターゲットアバターに適合。
• Python スクリプトによる完全なカスタマイズと自動化を可能に。形状、衣装、テクスチャ、アニメーションパラメータをプログラムで制御可能。
• 衝突検出のためのボディおよび衣装メッシュを保持することで、MoCap アドオンや物理シミュレーションとの統合を可能に。
• Blender のネイティブ環境を活用し、外部ソフトウェアやファイルのやり取りを一切不要にすることで、直接レンダリング、アニメーション、エクスポートが可能に。

実験結果

リサーチクエスチョン

• RQ1 Blender アドオンとして、最小限のユーザー入力で意味的形状制御を維持したまま、リアルで衣装を着た 3D ヒューマンモデルの作成を簡素化できるか？
• RQ2 アニメーション中に幾何的干渉を起こさずに、衣装メッシュをパラメトリックヒューマンモデルに統合する方法は何か？
• RQ3 関節構造や座標系が異なるターゲットスケルトンに、外部の BVH 動作ファイルをどの程度自動的に適合できるか？
• RQ4 Blender 内のスクリプタブルで統合された環境が、ニューラルネットワークの学習に適した多様な 3D ヒューマンデータセットの生成を著しく加速できるか？
• RQ5 高品質なテクスチャおよび法線マップの統合は、標準の低解像度アセットと比較して、視覚的リアリズムをどの程度向上させるか？

主な発見

• AVATAR アドオンにより、意味的形状パラメータを備えた関節構造を持つ衣装付き 3D ヒューマンモデルをワンクリックで生成可能。キャラクタ作成に要する時間と専門知識が著しく削減された。
• 形状サブセットに対するPCAの適用により、7つのコア属性（例：体重、バストサイズ）に意味的意味が保たれ、直感的かつ意味のある形状変化が可能になった。
• 衣装メッシュは事前処理により、すべての頂点がボディメッシュの外側に位置するように保証されており、アニメーション時の干渉アーチファクトを防止。物理シミュレーションの両方のメッシュを保持。
• スケルトンのスケーリング、ボーン対応、座標系変換により、ソースモーションをターゲットアバターに適合させる BVH 動作転送パイプラインが正常に機能。
• Blender のスクリプティング環境との統合により、多様な 3D ヒューマンモデルのプログラム的生成が可能になり、機械学習応用のためのスケーラブルなデータ収集が実現。
• 形状、衣装、ポーズ、テクスチャのバリエーションを制御可能な高精細データセットの作成を支援。3D ヒューマンポーズ推定および再構築モデルの学習に最適。