[論文レビュー] FNeVR: Neural Volume Rendering for Face Animation

Bohan Zeng, Boyu Liu+6 more|arXiv (Cornell University)|Sep 21, 2022

Face recognition and analysis被引用数 12

ひとこと要約

FNeVRは、顔の表情移動に2次元モーションワープを、高精細な顔のディテール合成に3次元ボリュームレンダリングを組み合わせる統合型ニューラルボリュームレンダリングフレームワークを提案する。垂直なアダプティブレイサンプリングを備えた3次元顔ボリュームレンダリング（FVR）モジュールと、オイラー角を用いた軽量なポーズエディタを導入することで、標準ベンチマークにおいて、優れたディテール保持性と効率性を実現した、最先端の写真同等の顔アニメーションを達成した。

ABSTRACT

Face animation, one of the hottest topics in computer vision, has achieved a promising performance with the help of generative models. However, it remains a critical challenge to generate identity preserving and photo-realistic images due to the sophisticated motion deformation and complex facial detail modeling. To address these problems, we propose a Face Neural Volume Rendering (FNeVR) network to fully explore the potential of 2D motion warping and 3D volume rendering in a unified framework. In FNeVR, we design a 3D Face Volume Rendering (FVR) module to enhance the facial details for image rendering. Specifically, we first extract 3D information with a well-designed architecture, and then introduce an orthogonal adaptive ray-sampling module for efficient rendering. We also design a lightweight pose editor, enabling FNeVR to edit the facial pose in a simple yet effective way. Extensive experiments show that our FNeVR obtains the best overall quality and performance on widely used talking-head benchmarks.

研究の動機と目的

• 複雑な変形と詳細な顔のモデリングの下で、アイデンティティを保持した写真同等の顔アニメーションを生成する課題に対処すること。
• 2次元モーションワープの長所（正確な表情移動）と3次元ボリュームレンダリングの長所（高精細なディテール合成）を1つのフレームワークに統合すること。
• 推論時に3次元再構築を実行しないようにすることで、計算コストを低減すること。
• オイラー角のみを入力として用いることで、簡単かつ効果的な顔のポーズ編集を可能にすること。

提案手法

• 2次元ワープされた特徴量から3次元色および形状特徴量を抽出する2つのCNNを用い、3次元再構築結果でガイドされた3次元顔ボリュームレンダリング（FVR）モジュールを導入。
• 1つのMLPを直接3次元特徴量に処理することで、階層的サンプリングを回避し、効率性を高める垂直なアダプティブレイサンプリングモジュールを採用。
• レンダリングされた特徴マップの品質を向上させ、リアリズムを向上させるために、知覚的損失を適用。
• オイラー角を入力として受け取り、直接的かつ効率的な顔のポーズ編集を可能にする軽量なポーズエディタ（LPE）を設計。
• 訓練中に信頼性のある3次元形状情報が学習されるように、3次元監督損失（$\mathcal{L}_{\sigma}$）を用いる。
• FVRモジュールをモーションワープに基づく顔アニメーションパイプラインに統合し、2次元ワープによるモーション転送と3次元レンダリングによるディテール強化を組み合わせる。

実験結果

リサーチクエスチョン

• RQ1 2次元モーションワープと3次元ボリュームレンダリングを統合したフレームワークは、顔アニメーションにおけるモーションの正確性と画像のリアリズムの両面で効果的に向上させることができるか？
• RQ2 推論コストを負担せずに、3次元形状の監視を訓練段階でどのように活用できるか？
• RQ3 オイラー角に基づくシンプルなポーズエディタモジュールは、効果的かつ制御可能な顔の再配置を達成できるか？
• RQ4 3次元特徴量の学習とレイサンプリング設計は、顔のディテール品質にどのように寄与しているか？
• RQ5 FNeVRは、リアリズム、アイデンティティ保持性、計算効率の観点から、SOTA手法と比較してどのように優れているか？

主な発見

• FNeVRは、標準的なトーキングヘッドベンチマークにおいて、最高の全体的性能を達成し、同一アイデンティティおよびクロスアイデンティティの顔アニメーションタスクの両方でSOTA手法を上回った。
• VoxCelebテストセットでは、FIDが8.443にまで低下し、ベースラインのFOMM（11.56）やFace vid2vid-S（9.024）を大きく下回った。これは、優れた画像品質と多様性を示している。
• アブレーションスタディの結果、$F_w$ または $\mathcal{L}_\sigma$ を削除すると性能が低下し、ディテール保持の観点からモーション特徴量の入力と3次元監視の必要性が裏付けられた。
• LPEモジュールは、オイラー角に基づいたリアルな顔の回転を効果的に生成でき、定性的な可視化結果から、効果的で直感的なポーズ編集が可能であることが示された。
• FNeVRは、Face vid2vid-Sよりも顕著に低いFLOPsとパラメータ数を達成し、優れた計算効率を示した。
• 垂直なアダプティブレイサンプリングを備えたFVRモジュールは、効率的なレンダリングを可能にするとともに、ベースラインの2次元ワープ法や3次元ベース手法と比較して、顔のディテール品質の向上に寄与した。