[論文レビュー] Rodin: A Generative Model for Sculpting 3D Digital Avatars Using Diffusion

Tengfei Wang, Bo Zhang+9 more|arXiv (Cornell University)|Dec 12, 2022

Generative Adversarial Networks and Image Synthesis被引用数 6

ひとこと要約

Rodinは、3次元構造的特徴マップの処理を改善するために3次元認識畳み込みを導入し、2次元拡散モデルを用いて高精細な3次元デジタルアバターを神経放射場として生成する拡散ベースの生成モデルを提示する。3次元認識畳み込み、潜在変数条件付き生成、階層的合成を組み合わせることで、1枚の画像またはテキストプロンプトから詳細で編集可能なアバターを生成し、アブレーションスタディーでFIDスコアが26.1にまで低下する。

ABSTRACT

This paper presents a 3D generative model that uses diffusion models to automatically generate 3D digital avatars represented as neural radiance fields. A significant challenge in generating such avatars is that the memory and processing costs in 3D are prohibitive for producing the rich details required for high-quality avatars. To tackle this problem we propose the roll-out diffusion network (Rodin), which represents a neural radiance field as multiple 2D feature maps and rolls out these maps into a single 2D feature plane within which we perform 3D-aware diffusion. The Rodin model brings the much-needed computational efficiency while preserving the integrity of diffusion in 3D by using 3D-aware convolution that attends to projected features in the 2D feature plane according to their original relationship in 3D. We also use latent conditioning to orchestrate the feature generation for global coherence, leading to high-fidelity avatars and enabling their semantic editing based on text prompts. Finally, we use hierarchical synthesis to further enhance details. The 3D avatars generated by our model compare favorably with those produced by existing generative techniques. We can generate highly detailed avatars with realistic hairstyles and facial hair like beards. We also demonstrate 3D avatar generation from image or text as well as text-guided editability.

研究の動機と目的

• 拡散モデルを用いた詳細な3次元アバター生成における高い計算コストとメモリ使用量を低減すること。
• 単一の画像またはテキストプロンプトから、効率的かつ高精細な3次元アバター生成を可能にすること。
• グローバルな整合性を保ちながら、テキストガイドドな操作によるアバターの意味的編集を可能にすること。
• 2次元拡散が3次元構造的特徴マップを処理する際の限界を克服し、3次元認識畳み込みを導入すること。
• 過大なメモリ使用量を回避するスケーラブルで階層的な合成を実現すること。

提案手法

• 3次元ニューラルレイトランスフィールドを3つの直交する2次元特徴平面（トリプレーン）として表現し、2次元拡散用にそれらを1つの2次元特徴平面に展開する。
• 3次元空間的関係に基づき、3つの平面間で対応する特徴に注目する3次元認識畳み込みを導入し、平面間の特徴同期を実現する。
• CLIP画像エンコーダーを用いてセマンティックな潜在ベクトルを生成し、拡散プロセス中にグローバルな整合性を調整する潜在変数条件付き生成を採用する。
• 階層的合成パイプラインを採用：まず64×64解像度の低解像度トリプレーンを生成し、その後拡散ベースのアップサンプラーで256×256解像度に精錬する。
• アップサンプリングの訓練中にパッチ単位の画像レベル損失を適用し、視覚的品質の向上と、スケールに特化した教師あり学習を可能にする。
• 凍結されたCLIPテキストエンコーダーを活用し、テキストプロンプトと画像潜在変数を整合させ、埋め込みの操作によりテキストガイドドなアバター編集を実現する。

実験結果

リサーチクエスチョン

• RQ1 2次元特徴の展開によって3次元構造的関係を保持することで、2次元拡散モデルが高精細な3次元アバターを効果的に生成できるか。
• RQ2 3次元認識畳み込みは、トリプレーン表現間の特徴合成を向上させつつ、計算効率を維持できるか。
• RQ3 潜在変数条件付き生成は、3次元アバター生成におけるグローバルな整合性と編集可能性をどの程度向上させるか。
• RQ4 階層的拡散合成は、過大なメモリ使用量を伴わずに高解像度の結果を達成できるか。
• RQ5 CLIP埋め込みを用いたテキストガイドド編集は、生成された3次元アバターの意味的マニピュレーションにどの程度効果的か。

主な発見

• アブレーションスタディーにおいて、トリプレーンの展開、潜在変数条件付き生成、3次元認識畳み込みを組み合わせたRodinモデルはFIDスコア26.1を達成し、ベースライン設定を著しく上回る。
• 拡散アップサンプラーの導入により品質が著しく向上し、パッチ単位の画像レベル損失と条件付き増強を適用したことでFIDスコアが38.6から26.1に低下した。
• モデルは単一のポートレート画像からも、髪の毛や顔のひげ（ヒゲ、サイドボーダーなど）を含む非常に詳細なアバターを生成でき、現実的である。
• テキストガイドド編集により、プロンプト工学に基づき、髪の色の変更、メガネの追加、表情の変更など、分離可能で意味的に明確な変更が可能である。
• 階層的合成パイプラインにより、訓練中に全画像レンダリングを行わずとも高解像度生成が可能となり、メモリのオーバーヘッドが低減され、スケールに特化した監督学習が可能になった。
• モデルは優れた一般化性能を示し、学習データにない多様で独自のアバター（新しいヘアスタイルや衣装の組み合わせなど）を生成した。