[論文レビュー] Novel View Synthesis for High-fidelity Headshot Scenes

Satoshi Tsutsui, Weijia Mao+4 more|arXiv (Cornell University)|May 31, 2022

3D Shape Modeling and Analysis被引用数 4

ひとこと要約

本稿では、生成対抗ネットワーク（GAN）に基づく融合ネットを用いて、Neural Radiance Fields（NeRF）と3次元可塑的モデル（3DMM）を融合することで、高精細なヘッドショットシーンの新規ビュー合成を実現する新規な手法を提案する。この手法は、NeRFが提供する幾何的一致性と、3DMMが提供する皮膚の詳細を両立させ、多様な照明、表情、背景を有する実世界のシーンにおいて、知覚的品質と忠実度の面で最先端の結果を達成した。

ABSTRACT

Rendering scenes with a high-quality human face from arbitrary viewpoints is a practical and useful technique for many real-world applications. Recently, Neural Radiance Fields (NeRF), a rendering technique that uses neural networks to approximate classical ray tracing, have been considered as one of the promising approaches for synthesizing novel views from a sparse set of images. We find that NeRF can render new views while maintaining geometric consistency, but it does not properly maintain skin details, such as moles and pores. These details are important particularly for faces because when we look at an image of a face, we are much more sensitive to details than when we look at other objects. On the other hand, 3D Morpable Models (3DMMs) based on traditional meshes and textures can perform well in terms of skin detail despite that it has less precise geometry and cannot cover the head and the entire scene with background. Based on these observations, we propose a method to use both NeRF and 3DMM to synthesize a high-fidelity novel view of a scene with a face. Our method learns a Generative Adversarial Network (GAN) to mix a NeRF-synthesized image and a 3DMM-rendered image and produces a photorealistic scene with a face preserving the skin details. Experiments with various real-world scenes demonstrate the effectiveness of our approach. The code will be available on https://github.com/showlab/headshot .

研究の動機と目的

• 人間の顔の新規ビュー合成において、毛孔やそばかすといった高精細な皮膚の詳細を保持する課題に対処すること。これらは知覚的リアリズムにとって不可欠である。
• NeRFの限界を克服すること。NeRFは幾何的一致性を維持するが、顔の細かなテクスチャ詳細を欠いている。一方、3DMMは皮膚の詳細を保持するが、幾何的不正確さとシーンの文脈を欠いている。
• NeRF（正確な幾何とシーンの文脈）と3DMM（詳細な顔面テクスチャ）の長所を効果的に統合し、写真同等の新規ビュー合成を実現する手法を開発すること。
• NeRFでレンダリングされたシーンと3DMMでレンダリングされた顔を、目立つブレンドアーティファクトを生じさせない形でアーティファクトフリーに融合すること。

提案手法

• 本手法は、NeRFによって合成された新規ビューと3DMMでレンダリングされた正面顔画像を入力とするGANベースの融合ネットを用いる。
• 融合ネットは敵対的学習により訓練され、NeRFの幾何的一致性と3DMMの皮膚詳細忠実度を組み合わせた写真同等の出力を生成する。
• 3DMMは顔の事前分布に基づく高解像度テクスチャマップを提供する。一方、NeRFは背景を含むシーン全体のニューラル暗黙的表現を提供する。
• 融合プロセスはエンドツーエンド微分可能であり、敵対的損失と知覚的損失を通じて、NeRFと3DMMのコンポーネントを共同最適化可能である。
• 訓練では、融合ネットを知覚的損失と敵対的損失を最小化するように最適化し、リアルな顔のテクスチャとシーンへの一貫性のあるブレンドを保証する。
• 本手法は、表情、照明、背景が異なる実世界のシーン、特に屋内・屋外・会話中の顔のシーケンスを含む、多様な条件下で評価された。

実験結果

リサーチクエスチョン

• RQ1 NeRFと3DMMをハイブリッド的に組み合わせることで、単独で使用する場合に比べ、ヘッドショットシーンにおける新規ビュー合成の性能が向上するか？
• RQ2 NeRFの幾何的一致性と3DMMの皮膚詳細忠実度を、目立つアーティファクトやブレンドエラーを引き起こさずに効果的に統合できるか？
• RQ3 GANベースの融合ネットワークにおける敵対的学習が、合成されたヘッドショット画像の知覚的品質とリアリズムをどの程度向上させるか？
• RQ4 本手法は、複雑な背景、動的な表情、変化する照明といった多様な実世界の条件下でも性能を維持できるか？
• RQ5 3DMMの事前分布と融合ネットの相対的寄与度は何か？また、これらは単純な融合やアブレーションモデルと比べてどのように差がつくか？

主な発見

• 本手法は平均ユーザー評価スコア3.331 ± 0.134を達成し、D-NeRF（3.075 ± 0.094）、NerFace（2.569 ± 0.125）、PoseGAN（1.006 ± 0.012）を顕著に上回り、優れた知覚的品質を確認した。
• 定量的指標において、本手法は全シーンで平均PSNR 28.84、SSIM 0.8263、LPIPS 0.0826を達成し、忠実度と知覚的類似性の両面でベースラインを上回った。
• アブレーションスタディの結果、3DMMコンponentを除去すると性能が低下（LPIPS：0.0938 vs. 0.0826）し、皮膚の詳細を保持する上でその重要性が確認された。
• 融合ネットを除去した場合、性能は著しく低下（LPIPS：0.1425 vs. 0.0826）し、GANベースの融合がアーティファクトフリーなブレンドに不可欠であることが示された。
• 本手法は全シーンでLPIPSが最小の平均0.0826を記録し、すべてのベースラインを上回り、人間の知覚と強い一致を示した。
• アブレーションスタディにより、3DMMと融合ネットの両方が必要であることが確認された。いずれかを除去すると結果が劣化し、特に融合ネットが滑らかな統合に不可欠であることが示された。