[論文レビュー] ZeroAvatar: Zero-shot 3D Avatar Generation from a Single Image

Zhenzhen Weng, Zeyu Wang+1 more|arXiv (Cornell University)|May 25, 2023

3D Shape Modeling and Analysis被引用数 4

ひとこと要約

ZeroAvatar は、パラメトリックな SMPL 身体モデルを幾何的事前分布として統合し、深度条件付きスコア蒸留と UV によるテクスチャ正則化を組み合わせることで、単一の画像から高精細でゼロショットの 3D アバターを生成する。既存の手法と比較して、特に複雑な人体ポーズにおいて 3D の一貫性と幾何学的忠実度を顕著に向上させ、テキストおよびポーズ制御可能な 3D アバター生成を可能にする。

ABSTRACT

Recent advancements in text-to-image generation have enabled significant progress in zero-shot 3D shape generation. This is achieved by score distillation, a methodology that uses pre-trained text-to-image diffusion models to optimize the parameters of a 3D neural presentation, e.g. Neural Radiance Field (NeRF). While showing promising results, existing methods are often not able to preserve the geometry of complex shapes, such as human bodies. To address this challenge, we present ZeroAvatar, a method that introduces the explicit 3D human body prior to the optimization process. Specifically, we first estimate and refine the parameters of a parametric human body from a single image. Then during optimization, we use the posed parametric body as additional geometry constraint to regularize the diffusion model as well as the underlying density field. Lastly, we propose a UV-guided texture regularization term to further guide the completion of texture on invisible body parts. We show that ZeroAvatar significantly enhances the robustness and 3D consistency of optimization-based image-to-3D avatar generation, outperforming existing zero-shot image-to-3D methods.

研究の動機と目的

• 複雑な人体を再構築する際、既存のゼロショット 3D 生成手法における低い 3D の一貫性と幾何学的保存性を是正する。
• 明示的な人体構造認識が欠如している拡散ベースの最適化の限界を克服する。
• 隠れた身体部位のための明示的な 3D 人体事前分布とテクスチャ正則化を組み込むことで再構築忠実度を向上させる。
• 事前学習済みのテキスト-to-画像拡散モデルを事前分布として用いて、ゼロショットのテキストおよびポーズ制御可能な 3D アバター生成を可能にする。
• SMPL に基づく粗い幾何学と深度監視を用いて NeRF を初期化することで、最適化の安定性と収束速度を向上させる。

提案手法

• 単一の画像からパラメトリックな SMPL 身体モデルを推定・精緻化し、人体形状とポーズの 3D 事前分布を取得する。
• スコア蒸留中に、ポーズが与えられた SMPL モデルの深度マップをテキスト-to-画像拡散モデル（例：Stable Diffusion）の追加の条件信号として用いる。
• SMPL に基づく粗い幾何学を用いて NeRF の密度フィールドを初期化することで、最適化の安定性と収束速度を向上させる。
• NeRF 最適化中に、隠れたまたは見えない身体部位の外観補完をガイドするため、UV に基づくテクスチャ正則化項を導入する。
• SMPL 事前分布の幾何制約下で、参照画像と一致するように NeRF のビューを調整するため、深度条件付き潜在拡散を用いたスコア蒸留損失を適用する。
• 最適化された NeRF を、事前学習済みのテキスト-to-画像モデルを用いてテキストまたはポーズ編集による後続制御を可能にする 3D アバターとして利用する。

実験結果

リサーチクエスチョン

• RQ1 明示的な 3D 人体事前分布は、単一画像からのゼロショット 3D アバター生成における 3D の一貫性と幾何学的忠実度を向上させるか？
• RQ2 パラメトリックなボディモデルからの深度監視は、拡散ベースの NeRF 最適化における最適化の安定性と収束にどのように影響するか？
• RQ3 UV に基づくテクスチャ正則化は、単一画像 3D 再構築における見えない身体部位の外観一貫性をどの程度向上させるか？
• RQ4 提案手法は、幾何学的および外観的忠実度を維持したまま、ゼロショットのテキストまたはポーズ制御可能な 3D アバター生成を可能にするか？
• RQ5 ベースラインのゼロショット手法と比較して、複雑な非標準的ポーズにおける本手法の性能はいかがなっているか？

主な発見

• ZeroAvatar は、複雑なポーズにおいて文脈損失（ハードポーズ時 3.3）と CLIP 画像類似度（87.0）で最先端の性能を達成し、Make-it-3D や Stable-DreamFusion などのベースラインを上回っている。
• すべてのポーズの複雑さレベル（簡単、中程度、ハード）で一貫した改善が見られ、ハードポーズでは 3.0 の文脈損失を達成し、次に良い手法の 3.3 よりも優れている。
• ZeroAvatar はベースラインよりも著しく高速に収束する——第 5 エポックまでに一貫した 3D 形状を生成できるが、Make-it-3D は少なくとも 10 エポックを要する。
• ZeroAvatar の最適化はより安定しており、Make-it-3D のようなベースライン手法でよく見られる発散問題を回避している。これらはしばしば妥当な幾何学的形状を回復できない。
• SMPL が身体のスケールを完全に表現できない失敗ケースでも、ZeroAvatar はベースラインよりも一貫性のある新規ビューのレンダリングを生成する。
• LPIPS スコアは一部のベースライン（例：ハードポーズ時 0.38）よりわずかに高いが、これは ZeroAvatar の外観品質の失敗によるものではなく、ベースラインが参照ビューに過剰適合し幾何学的形状を歪めているためである。