[論文レビュー] AG3D: Learning to Generate 3D Avatars from 2D Image Collections

Zijian Dong, Xu Chen+4 more|arXiv (Cornell University)|May 3, 2023

3D Shape Modeling and Analysis被引用数 4

ひとこと要約

AG3Dは、一括された2D画像コレクションから、現実的な幾何学的形状と外観を備えた高精細3Dアバターを合成するための新しい敵対的生成モデルを提案する。包括的な3Dジェネレータに効率的な可動モジュールと、法線マップおよび顔領域のための複数の専用判別器を組み合わせ、幾何学的および外観的品質の両面で最先端の性能を達成するとともに、スカートやドレスのようなゆるい衣装を自然にモデル化する。

ABSTRACT

While progress in 2D generative models of human appearance has been rapid, many applications require 3D avatars that can be animated and rendered. Unfortunately, most existing methods for learning generative models of 3D humans with diverse shape and appearance require 3D training data, which is limited and expensive to acquire. The key to progress is hence to learn generative models of 3D avatars from abundant unstructured 2D image collections. However, learning realistic and complete 3D appearance and geometry in this under-constrained setting remains challenging, especially in the presence of loose clothing such as dresses. In this paper, we propose a new adversarial generative model of realistic 3D people from 2D images. Our method captures shape and deformation of the body and loose clothing by adopting a holistic 3D generator and integrating an efficient and flexible articulation module. To improve realism, we train our model using multiple discriminators while also integrating geometric cues in the form of predicted 2D normal maps. We experimentally find that our method outperforms previous 3D- and articulation-aware methods in terms of geometry and appearance. We validate the effectiveness of our model and the importance of each component via systematic ablation studies.

研究の動機と目的

• アニメーションおよびレンダリング用途における多様で高品質な3Dアバターの不足に応えること。これは、3Dトレーニングデータの希少性と高コストに起因する。
• 特に可動するボディとゆるい衣装を対象とした、非構造的な2D画像コレクションからの現実的な3D人体形状と外観を生成する課題を克服すること。
• 3Dの監視を完全に排除し、2D画像のみから生成モデルを学習することで、スケーラブルで多様な3Dアバター合成を実現すること。
• 2D法線マップを用いた幾何的監視とマルチディスクリミネーター訓練により、極めて制約の厳しい設定下でも幾何学的忠実性と知覚的リアリズムを向上させること。

提案手法

• トライプレーン表現を用いたモノリシック3Dジェネレータを採用し、効率的なボリュームレンダリングと包括的な3D形状・外観モデリングを実現する。
• Fast-SNARFに基づく効率的な可動モジュールを統合し、ボディおよびゆるい衣装の柔軟な変形を可能にし、SMPLベースの最近傍法を上回る性能を発揮する。
• 粗い人体プリオールに従って誘導される空領域スキップをレンダリング中に適用することで、品質を損なわずに推論を高速化する。
• 複数のディスクリミネーターを用いる：RGB画像用、予測された2D法線マップ用、顔領域専用のディスクリミネーターを含む。
• 画像ブランチおよび法線マップブランチの両方で敵対的損失を適用し、既存の単眼法線推定器を活用して幾何的監視を提供する。
• 各ディスクリミネーターが特定の側面（例：顔、表面法線）に特化するマルチブランチGAN設定を用いてジェネレータを最適化する。

Figure 2 : Method Overview. Holistic 3D Human Generation: Given a latent vector $\mathbf{z}$ , our method generates human shape $d$ and appearance $\mathbf{c}$ in canonical space. In addition, we compute surface normals $\mathbf{n}$ via the spatial derivatives of the canonical shape which is represe

実験結果

リサーチクエスチョン

• RQ1 3Dの監視が一切ない状況下で、生成的3Dモデルは非構造的な2D画像コレクションから現実的な人体形状と外観を学習できるか？
• RQ2 パーツ分解を用いず、ドレスやスカートのような複雑なゆるい衣装の変形を効果的に捉えるにはどうすればよいか？
• RQ3 2D法線マップ監視を組み込むことで、制約の厳しい2Dから3Dへの変換設定下で、生成された3Dアバターの幾何学的品質はどの程度向上するか？
• RQ4 顔領域および法線マップ専用のディスクリミネーターは、グローバルディスクリミネーターに比べて、知覚的リアリズムをどの程度向上させるか？
• RQ5 効率的な可動モジュールを備えた包括的3Dジェネレータは、パーツベースのモデルに比べ、連続的で滑らかな衣装をより優れてモデル化できるか？

主な発見

• AG3Dは、FIDおよびFID_normalといった定量的指標において、従来の3Dおよび可動性に配慮した手法を上回る最先端の性能を達成し、幾何学的および外観的品質の両面で優れた結果を得た。
• 法線マップディスクリミネーターの導入により、特に顔面において表面のノイズや穴が顕著に減少し、FID_normalの大幅な向上が確認された。
• 顔領域専用ディスクリミネーターを削除するとFID_faceが著しく上昇することから、顔のリアリズム向上におけるその重要性が裏付けられた。
• Fast-SNARFベースの可動モジュールは、スカートや長い髪の変形を分割や不連続性を生じさせることなく成功裏に実現した。これに対して、SMPLベースのベースラインはボディ表面から離れるほどアーチファクトを発生させた。
• AG3Dは512²の画像に対して9.5 FPSで3Dアバターを生成でき、EVA3Dを3倍以上上回る速度を達成しながらも、幾何学的および外観的品質の両面で優れた性能を発揮した。
• アブレーションスタディの結果、各構成要素（法線ディスクリミネーター、顔ディスクリミネーター、高度な変形モジュール）が最終的な品質に顕著な寄与をしていることが確認され、完全なモデルが全指標でアブレーションバリアントを上回った。

(a) View Control