[論文レビュー] Articulated 3D Head Avatar Generation using Text-to-Image Diffusion Models

Alexander W. Bergman, Yifan Wang+1 more|arXiv (Cornell University)|Jul 10, 2023

Face recognition and analysis被引用数 4

ひとこと要約

本稿では、事前学習済み2Dテキスト-to-画像拡散モデルを用いて、テキストプロンプトからアーティキュレーテッド3Dヘッドアバターを生成する新規手法を提案する。パラメトリックな3Dモーファブルモデル（3DMM）の幾何とテクスチャを、二重でスケジュールされた最適化プロセスで最適化することで、視覚的に一貫性があり、アニメーション可能な写真のようなリアリスティックなヘッドアバターを生成する。この手法は、CLIPベースのベースラインと比較して、意味的整合性と多様性の面で優れている。

ABSTRACT

The ability to generate diverse 3D articulated head avatars is vital to a plethora of applications, including augmented reality, cinematography, and education. Recent work on text-guided 3D object generation has shown great promise in addressing these needs. These methods directly leverage pre-trained 2D text-to-image diffusion models to generate 3D-multi-view-consistent radiance fields of generic objects. However, due to the lack of geometry and texture priors, these methods have limited control over the generated 3D objects, making it difficult to operate inside a specific domain, e.g., human heads. In this work, we develop a new approach to text-guided 3D head avatar generation to address this limitation. Our framework directly operates on the geometry and texture of an articulable 3D morphable model (3DMM) of a head, and introduces novel optimization procedures to update the geometry and texture while keeping the 2D and 3D facial features aligned. The result is a 3D head avatar that is consistent with the text description and can be readily articulated using the deformation model of the 3DMM. We show that our diffusion-based articulated head avatars outperform state-of-the-art approaches for this task. The latter are typically based on CLIP, which is known to provide limited diversity of generation and accuracy for 3D object generation.

研究の動機と目的

• 人間の頭部に対する既存のテキスト-to-3D生成手法における制御性とリアリズムの欠如に対処する。
• 可動性やドメイン固有の制御を妨げる放射場表現の限界を克服する。
• 高い意味的忠実度で3Dヘッドアバター生成をガイドするため、2Dテキスト-to-画像拡散モデルを事前知識として活用する。
• パラメトリックな3DMM上で形状と外観を直接最適化することで、アニメーション可能なアバターを生成する。
• 意味的整合性と多様性の面でCLIPベース手法に劣る点を改善し、生成の多様性と正確性を向上させる。

提案手法

• 幾何とテクスチャ最適化のための微分可能テンプレートとして、パラメトリックな3Dモーファブルモデル（3DMM）を用いる。
• 視覚的一致性のある画像を生成するために、潜在拡散モデルデコーダーを用いて頂点位置とテクスチャ特徴マップを最適化する。
• 2段階でスケジュールされた最適化を実施：まずテクスチャのみを最適化し、その後形状と外観を併せて最適化する。
• 予測された輪郭をテキストプロンプトに一致させるために、セグメンテーションベースの監督損失（$\mathcal{L}_{\textrm{seg}}$）を導入する。
• レンダリングパイプラインにアルファブレンドシェーディングヒントを組み込むことで、幾何とテクスチャの一貫性および顔面特徴の一致を向上させる。
• 複数のCLIPモデルを用いたテキスト-画像一貫性の評価にCLIP-Rスコアを活用し、スコア蒸留を用いて最適化をガイドする。

実験結果

リサーチクエスチョン

• RQ1 事前学習済み2Dテキスト-to-画像拡散モデルは、明示的な幾何とテクスチャを有する多様で3Dビュー一貫性のあるヘッドアバターを効果的に生成するために活用可能か？
• RQ2 まずテクスチャを最適化し、その後形状-外観を併せて最適化するスケジュールされた最適化プロセスは、生成品質と安定性をどのように向上させるか？
• RQ3 セグメンテーションおよびシェーディングヒントを組み込むことで、幾何的一致性および顔面特徴の一致はどの程度向上するか？
• RQ4 意味的整合性と視覚的品質の面で、CLIPベースのベースラインと比較して、本手法はどの程度優れているか？
• RQ5 生成されたアバターは、3DMM変形モデルを用いて効果的に可動化可能であり、プロンプトの一貫性を保持できるか？

主な発見

• 提案手法は、全プロンプト平均でCLIP-Rスコア83.2を達成し、2番目に優れたベースライン（ClipFace）を8.2ポイント上回った。
• アブレーションスタディの結果、セグメンテーション損失（$\mathcal{L}_{\textrm{seg}}$）を除去すると幾何的一致性が低下し、幾何に関するCLIP-Rが1.7ポイント低下した。
• スケジュールされた最適化を省略すると、平均CLIP-Rが4.4ポイント低下し、収束の安定性にとって重要な要因であることが示された。
• シェーディングヒントを除去すると顔面特徴の不一致が生じ、幾何に関するCLIP-Rが14.1ポイント低下した。これは、幾何最適化をガイドする役割を果たしていることを示している。
• 可視化結果から、本手法は正確な顔面特徴、一貫性のあるテクスチャ、複雑なプロンプト（例：「突起のある帽子をかぶった魔法使い」）に対しても適切に一致するアバターを生成していることが明らかになった。
• 本手法は、従来の手法では容易に合成できない多様でスタイリッシュかつ架空のヒューマノイドヘッドを効果的に生成でき、広範なプロンプト一般化能力を示している。