[論文レビュー] Generalizable One-shot Neural Head Avatar

Xueting Li, Shalini De Mello+4 more|arXiv (Cornell University)|Jun 14, 2023

Face recognition and analysis被引用数 7

ひとこと要約

本論文は、推論時最適化を必要とせず、1枚のポートレート画像から3Dヘッドアバターを再構築およびアニメートするワンショットニューラルヘッドアバター手法を提案する。粗い幾何構造、詳細な外観、表情の3つの分離されたトライプレーンブランチを用い、未確認のアイデンティティやポーズに対しても、忠実度と一般化性能の面で最先端の性能を達成している。

ABSTRACT

We present a method that reconstructs and animates a 3D head avatar from a single-view portrait image. Existing methods either involve time-consuming optimization for a specific person with multiple images, or they struggle to synthesize intricate appearance details beyond the facial region. To address these limitations, we propose a framework that not only generalizes to unseen identities based on a single-view image without requiring person-specific optimization, but also captures characteristic details within and beyond the face area (e.g. hairstyle, accessories, etc.). At the core of our method are three branches that produce three tri-planes representing the coarse 3D geometry, detailed appearance of a source image, as well as the expression of a target image. By applying volumetric rendering to the combination of the three tri-planes followed by a super-resolution module, our method yields a high fidelity image of the desired identity, expression and pose. Once trained, our model enables efficient 3D head avatar reconstruction and animation via a single forward pass through a network. Experiments show that the proposed approach generalizes well to unseen validation datasets, surpassing SOTA baseline methods by a large margin on head avatar reconstruction and animation.

研究の動機と目的

• 推論時最適化を必要とせず、1枚のポートレート画像から高忠実度で一般化可能な3Dヘッドアバターを生成する課題に対処すること。
• 既存手法が顔以外の詳細な外観的特徴（例：ヘアスタイル、眼鏡）を正確に保持できない、または未確認のアイデンティティで性能を発揮できないという限界を克服すること。
• 推論時に時間のかかる最適化を回避し、効率的な1回の順伝播による3Dヘッドアバター再構築とアニメーションを実現すること。
• 粗い幾何構造、詳細な外観、顔の表情を別々に分離してモデリングすることで、忠実度と一般化性能を向上させること。

提案手法

• 中立の表情と正面のポーズを持つ中核的なブランチを用い、トライプレーン表現による粗い3D幾何構造を再構築する。
• 外観ブランチを導入し、中核ブランチから得た深度情報を用いて、入力画像のピクセル値を3Dの中核空間にマッピングすることで、微細なディテールを保持する。
• 表情ブランチを設計し、ターゲットの表情を持つ正面の3DMMレンダリングと元のアイデンティティを入力として受け取り、顔の表情を変更するトライプレーンを生成する。
• 3つのトライプレーンを加算により統合し、ボリュメトリックレンダリングを適用した後、スーパーレゾリューションモジュールを用いて高忠実度の出力画像を生成する。
• 3DMMの事前知識を用いて形状と表情の分離を実現し、幾何構造と表情のパラメータに対して線形基底分解を適用する。
• 多様なポートレート画像を用いて学習することで、推論時に未確認のアイデンティティやポーズに対してもゼロショット一般化を可能にする。

Figure 1: Overview. The proposed method contains four main modules: a canonical branch that reconstructs the coarse geometry and texture of a portrait with a neutral expression (Sec. 3.1 ), an appearance branch that captures fine-grained person-specific details (Sec. 3.2 ), an expression branch that

実験結果

リサーチクエスチョン

• RQ1 1枚のポートレート画像で学習したニューラルヘッドアバターが、推論時最適化を一切行わずに未確認のアイデンティティに一般化できるか。
• RQ2 1枚の画像に基づく手法が、髪型や装飾品など顔領域を超えた詳細な外観的特徴をどの程度正確に保持できるか。
• RQ3 入力画像の視認性が制限されている場合（例：遮蔽領域、歯、瞳）、モデルが妥当な幾何構造（例：遮蔽領域、歯、瞳）をどれだけ正確に想起できるか。
• RQ4 幾何構造、外観、表情を別々のトライプレーンブランチに分離することで、エンドツーエンドのアプローチと比較して再構築忠実度と一般化性能が向上するか。

主な発見

• 提案手法は、ヘッドアバター再構築およびアニメーションにおいて最先端のベースラインを上回り、未確認の検証データセットでも優れた性能を達成している。
• 推論時に最適化を一切行わず、未確認のアイデンティティやポーズに対しても効果的に一般化でき、1回の順伝播による効率的な生成が可能である。
• CelebAデータセットにおける実験では、ROMEやHeadNeRFと比較して優れた性能を示し、テスト時適応なしにもFIDおよびLPIPS指標で定量的な改善が見られた。
• モデルは、髪型、眼鏡、イヤリングといったアイデンティティ固有のディテールを、多様なテストアイデンティティにおいても正確に保持している。
• 制限事項として、表情ブランチのハリュシネーションの影響により、歯や瞳の再構築が一貫しないことが判明しており、入力の可視性に関わらず常にこれらの特徴を生成してしまう。
• アブレーションスタディの結果、幾何構造、外観、表情のトライプレーンによる分離が、統合的モデリングアプローチに比べて忠実度と一般化性能を顕著に向上させていることが確認された。

Figure 2: Visualization of the contribution of each branch. (a) Source image. (b) Target image. (c) Rendering of the canonical tri-plane. (d) Rendering of the combination of the canonical and expression tri-planes. (e) Rendering of the combination of all three tri-planes.