[論文レビュー] Efficient Region-Aware Neural Radiance Fields for High-Fidelity Talking Portrait Synthesis

Jiahe Li, Jiawei Zhang+3 more|arXiv (Cornell University)|Jul 18, 2023

Advanced Vision and Imaging被引用数 5

ひとこと要約

本稿では、高精細でリアルタイムな会話付きポートレート合成を実現する、領域認識型Neural Radiance FieldsフレームワークであるER-NeRFを提案する。ハッシュ衝突を低減するためのTri-Plane Hash Representationと、音声・空間的領域間の相互作用を明示的にモデル化するためのRegion Attention Moduleを導入することで、高速な収束性、リアルタイム推論、コンactなモデルサイズを実現し、最先端の性能を達成した。

ABSTRACT

This paper presents ER-NeRF, a novel conditional Neural Radiance Fields (NeRF) based architecture for talking portrait synthesis that can concurrently achieve fast convergence, real-time rendering, and state-of-the-art performance with small model size. Our idea is to explicitly exploit the unequal contribution of spatial regions to guide talking portrait modeling. Specifically, to improve the accuracy of dynamic head reconstruction, a compact and expressive NeRF-based Tri-Plane Hash Representation is introduced by pruning empty spatial regions with three planar hash encoders. For speech audio, we propose a Region Attention Module to generate region-aware condition feature via an attention mechanism. Different from existing methods that utilize an MLP-based encoder to learn the cross-modal relation implicitly, the attention mechanism builds an explicit connection between audio features and spatial regions to capture the priors of local motions. Moreover, a direct and fast Adaptive Pose Encoding is introduced to optimize the head-torso separation problem by mapping the complex transformation of the head pose into spatial coordinates. Extensive experiments demonstrate that our method renders better high-fidelity and audio-lips synchronized talking portrait videos, with realistic details and high efficiency compared to previous methods.

研究の動機と目的

• 既存のNeRFベースの会話付きポートレート手法における推論速度、収束性、再構成品質の制限を克服すること。
• 空間的領域のスパarsityと顔面運動への寄与度の不均一性を活用することで、動的頭部再構成を向上させること。
• 音声と空間的領域の相互作用を明示的にモデル化することで、リップシンクの正確性と局所的運動のリアリズムを向上させること。
• モデルの複雑さとトレーニング時間を低減しつつ、高い視覚的忠実度とリアルタイムレンダリング能力を維持すること。
• アダプティブポーズエンコーディング機構を用いて、頭部と胴体の分離問題を解決し、構造的一致性を向上させること。

提案手法

• 3次元空間を3つの直交する平面に分解するTri-Plane Hash Representationを導入し、空領域をプルーニングすることでハッシュ衝突を低減し、効率的な3次元特徴学習を可能にする。
• 3つの平面ハッシュエンコーダーを用いたコンパクトなNeRFベースの平面分解を適用し、動的頭部ジオメトリをより高い精度で、ノイズを低減して表現する。
• クロスアテンションを用いて音声特徴と空間的領域をアライメントするRegion Attention Moduleを提案し、MLPベースの統合に依存せず、明示的に音声駆動の局所的運動をモデル化する。
• 複雑な頭部ポーズ変換を空間座標にマッピングするアダプティブポーズエンコーディングを設計し、胴体-NeRFがポーズ依存の外観を学習しやすくする。
• スパース特徴グリッドとアテンションベースの条件注入を組み合わせることでトレーニング効率を最適化し、大規模で遅延の大きいMLPへの依存を低減する。
• 最小限のパラメータ数で実装された軽量アーキテクチャを活用し、高精細レンダリングを維持しながらリアルタイム推論を実現する。

実験結果

リサーチクエスチョン

• RQ1 明示的な領域認識のモデル化は、NeRFベースの会話付きポートレートにおける音声駆動の顔面運動合成を向上させ得るか？
• RQ2 特徴の統合にMLPベースの手法に比べて、領域認識アテンション機構はリップシンクの正確性と視覚的品質においてどのように優れているか？
• RQ3 Tri-Plane Hash Representationは、動的頭部モデリングにおけるハッシュ衝突の低減、収束性、再構成品質の向上にどの程度寄与するか？
• RQ4 コンパクトでアダプティブなポーズエンコーディング機構は、複雑な監視信号を必要とせず、頭部と胴体の運動を効果的に分離できるか？
• RQ5 領域認識表現とアテンションの組み合わせにより、収束速度の向上とリアルタイム推論が達成可能であり、最先端の性能を維持できるか？

主な発見

• ER-NeRFは、比較対象のすべての手法の中で最高のMean Opinion Score (MOS) を達成し、SynObamaのような大規模モデルでさえも上回った。
• 提案されたTri-Plane Hash Representationは、ベースラインのMLPおよびiNGPベースの手法と比較して、PSNRを1.03–1.14ポイント向上させ、LPIPSを0.071–0.073低減した。
• チャネルワイドアテンションを用いたRegion Attention Moduleは、LMD (2.740) と Sync (5.708) のスコアで最高を記録し、特徴ワイドアテンションや連結ベースのベースラインを大きく上回った。
• 最先端手法と比較して、トレーニング時間の半分、パラメータ数も少ないにもかかわらず、画像品質とリップシンクの正確性が優れていた。
• 範囲外の頭部ポーズに対しても、高い構造的正確性を維持しており、トレーニング時に見られなかった大角度の回転に対してもロバストであることが示された。
• コンパクトなアーキテクチャによりリアルタイム推論を達成し、バーチャルアバター、ビデオ会議など実用的応用への展開に適している。