[論文レビュー] PVA: Pixel-aligned Volumetric Avatars

Amit Raj, Michael Zollhoefer+5 more|arXiv (Cornell University)|Jan 7, 2021

3D Shape Modeling and Analysis参考文献 35被引用数 22

ひとこと要約

本稿では、少数の入力画像から局所的でピクセルにアラインされた特徴量を用いて、高精細な顔の表情とアイデンティティの一般化を実現する詳細な3次元人間の頭部アバターを予測する、ニューラルレンダリングフィールドの新手法であるピクセルアラインドボリューメトリックアバター（PVA）を提案する。3次元の監視情報を一切用いずに、光度再投影損失によるエンドツーエンドの学習を実施するが、未観測のアイデンティティや表情に対しても最先端の新視点合成品質を達成する。

ABSTRACT

Acquisition and rendering of photo-realistic human heads is a highly challenging research problem of particular importance for virtual telepresence. Currently, the highest quality is achieved by volumetric approaches trained in a person specific manner on multi-view data. These models better represent fine structure, such as hair, compared to simpler mesh-based models. Volumetric models typically employ a global code to represent facial expressions, such that they can be driven by a small set of animation parameters. While such architectures achieve impressive rendering quality, they can not easily be extended to the multi-identity setting. In this paper, we devise a novel approach for predicting volumetric avatars of the human head given just a small number of inputs. We enable generalization across identities by a novel parameterization that combines neural radiance fields with local, pixel-aligned features extracted directly from the inputs, thus sidestepping the need for very deep or complex networks. Our approach is trained in an end-to-end manner solely based on a photometric re-rendering loss without requiring explicit 3D supervision.We demonstrate that our approach outperforms the existing state of the art in terms of quality and is able to generate faithful facial expressions in a multi-identity setting.

研究の動機と目的

• 少数の入力画像からの写真同等のリアルな、アイデンティティに一般化可能な3次元人間の頭部アバターを生成する課題に対処すること。
• ボリュメトリックモデルにおけるグローバルな潜在コードの制限を克服し、アイデンティティや表情にわたる一般化性を向上させること。
• 髪の毛や顔のテクスチャといった高周波数の詳細を保持しつつ、未学習のアイデンティティや視点に対しても視点合成を可能にすること。
• 3次元の監視情報を一切排除し、学習中に明示的な幾何アノテーションを一切用いずに、光度再投影損失に依存すること。
• グローバルコードではなく、局所的で画像ベースの特徴量に条件付けられたニューラルレンダリングフィールドのエンドツーエンド学習を可能にすること。

提案手法

• 入力画像から直接抽出された局所的特徴量に条件付けられた、ピクセルにアラインされた暗黙的3次元表現を有する、ピクセルアラインドレンダリングフィールドを提案する。
• 各入力画像から細粒度の局所的詳細を保持するように、浅いエンコーダ・デコーダネットワークを用いてピクセルにアラインされた特徴量を抽出する。
• 特徴表現にカメラの姿勢情報を統合することで、複数視点にわたる一貫性のある特徴量集約を実現する。
• 空間的アラインメントを保持しつつ、複数の視点にわたる特徴量を集約するため、学習可能なプーリング機構を用いてカメラに適応した特徴量要約を実施する。
• ボリュームレンダリングを用いて、条件付けられた特徴量に基づき予測されたレンダリングフィールドから新規視点を合成する。
• 3次元の監視情報や明示的な幾何アノテーションを一切必要とせず、光度再投影損失のみを用いて、モデル全体をエンドツーエンドで学習する。

実験結果

リサーチクエスチョン

• RQ1 局所的でピクセルにアラインされた特徴量に条件付けられたニューラルレンダリングフィールドは、アイデンティティに一般化可能な3次元アバター生成に有効に機能するか？
• RQ2 グローバルな潜在コードの代わりに局所的特徴量を用いることで、髪の毛や顔の表情といった細部のモデリングが向上するか？
• RQ3 わずか数枚の入力画像に条件付けられた状態でも、再訓練なしに未学習のアイデンティティや表情に一般化できるか？
• RQ4 カメラの姿勢情報の組み込みが、合成視点の品質と一貫性にどのように影響するか？
• RQ5 特徴量抽出器および特徴量要約戦略の選定が、再構成忠実度にどの程度影響を及えるか？

主な発見

• PVAは、cNeRF や eNeRF などの最近の手法と比較して、新視点合成品質において最先端の性能を達成する。
• グローバルな潜在コードに依存するモデルと比較して、未学習のアイデンティティや表情に効果的に一般化する。
• 入力視点を2つに増やすだけで、視点外挿のアーチファクトが顕著に減少し、最小限の入力からの強力な一般化能力を示す。
• カメラに適応した特徴量要約は、単純な平均プーリングよりも高品質な結果をもたらし、ストリークイングや不一致を低減する。
• U-Net やアワーガラスネットワークのような深層アーキテクチャに比べ、浅いエンコーダ・デコーダ特徴量抽出器が局所的詳細をより効果的に保持し、優れた性能を発揮する。
• 訓練中に学習される背景モデリングは、複雑な照明条件やオクルージョン領域においても再構成品質を向上させる。