[論文レビュー] HeadNeRF: A Real-time NeRF-based Parametric Head Model

Yang Hong, Bo Peng+3 more|arXiv (Cornell University)|Dec 10, 2021

3D Shape Modeling and Analysis被引用数 8

ひとこと要約

HeadNeRFは、3次元プロキシとしてニューラルレイトランスフィールドを活用することで、高精細でマルチビュー一貫性のある人間の頭部のレンダリングを可能にする、最初のリアルタイムNeRFベースのパrametricな頭部モデルを提案する。2DニューラルレンダリングとNeRFを統合し、新たな損失項を導入することで、1フレームあたりのレンダリング時間を5秒から25msに高速化し、アイデンティティ、表情、外見、カメラポーズの分離制御を可能にする。

ABSTRACT

In this paper, we propose HeadNeRF, a novel NeRF-based parametric head model that integrates the neural radiance field to the parametric representation of the human head. It can render high fidelity head images in real-time on modern GPUs, and supports directly controlling the generated images' rendering pose and various semantic attributes. Different from existing related parametric models, we use the neural radiance fields as a novel 3D proxy instead of the traditional 3D textured mesh, which makes that HeadNeRF is able to generate high fidelity images. However, the computationally expensive rendering process of the original NeRF hinders the construction of the parametric NeRF model. To address this issue, we adopt the strategy of integrating 2D neural rendering to the rendering process of NeRF and design novel loss terms. As a result, the rendering speed of HeadNeRF can be significantly accelerated, and the rendering time of one frame is reduced from 5s to 25ms. The well designed loss terms also improve the rendering accuracy, and the fine-level details of the human head, such as the gaps between teeth, wrinkles, and beards, can be represented and synthesized by HeadNeRF. Extensive experimental results and several applications demonstrate its effectiveness. The trained parametric model is available at https://github.com/CrisHY1995/headnerf.

研究の動機と目的

• リアルタイムで高精細なレンダリングを実現し、マルチビュー一貫性を保つパラメトリックな頭部モデルの開発。
• NeRFの計算コストのボトル neck を克服し、2Dニューラルレンダリングを統合して高速化しながらも、画像品質を維持する。
• アイデンティティ、表情、外見、レンダリングポーズなどの意味的属性を効果的に分離制御すること。
• 3次元スキャンデータの高コストな必要性を回避するため、2D画像のみを用いてモデルを学習する。
• 新しい応用分野、例えば新規ビュー合成、属性編集、顔の再現（フェイシャルリエンアクション）を、幾何学的整合性を保ちながら実現すること。

提案手法

• 従来のテクスチャ付きメッシュの代わりに、微分可能な3次元表現としてニューラルレイトランスフィールド（NeRF）を用いる。
• 粗〜細かい2DニューラルレンダリングをNeRFボリュームレンダリングと統合し、1フレームあたり25ms（40fps以上）の推論速度を達成する。
• シーンからサンプリングされた光線に沿って、3次元点の密度σ(x)と特徴ベクトルF(x)を予測するマルチブランチMLPを採用する。
• 低解像度の特徴マップIFから最終画像Iを再構成する新しい2Dニューラルレンダリングモジュールπψを適用する。
• トレーニング中にアイデンティティ、表情、外見、照明の属性を分離するための特別な損失関数を設計する。
• 大規模なデータセット（例：FFHQ、FaceSEIP）の2D画像のみを用いて、明示的な3次元監督なしにエンドツーエンドで学習する。

実験結果

リサーチクエスチョン

• RQ1 NeRFベースのパラメトリックな頭部モデルは、高精細性とマルチビュー一貫性を保ちながら、リアルタイムレンダリングを達成できるか？
• RQ2 NeRFの高コストなレンダリングプロセスは、視覚的品質を損なわず、リアルタイム推論に高速化できるか？
• RQ3 アイデンティティ、表情、外見といった意味的属性は、NeRFベースのパラメトリックな頭部モデルで効果的に分離できるか？
• RQ4 2D画像監督のみで学習したNeRFベースのモデルは、どれほど新規ビュー合成や属性編集に一般化できるか？
• RQ5 モデルは、幾何学的整合性を保ちながら、顔の再現や新規ビュー合成といった実用的応用をサポートできるか？

主な発見

• HeadNeRFは、1フレームあたりのレンダリング時間を5秒から25msに短縮し、現代のGPUで40fps以上のリアルタイム推論を実現した。
• ポーズ編集の条件下でも、2D GANベースの手法（pi-GAN や GIRAFFE）と比較して優れたマルチビュー一貫性を達成した。
• 分離された潜在空間制御により、歯のすき間、しわ、ひげといった微細なディテールを効果的に合成できた。
• 定量的評価では、PSNRとSSIMの両面でpi-GAN や GIRAFFE を上回り、より優れた一般化性能と少ない過学習を示した。
• 潜在コードの置換により、参照動画の表情をターゲット画像に転送することで、高品質な顔の再現（フェイシャルリエンアクション）を実現した。
• ヘッドギアや複雑な照明などの分布外のケースに対応できないという限界があり、より大規模で多様なデータセットによる学習で改善の余地がある。