[論文レビュー] HDHumans: A Hybrid Approach for High-fidelity Digital Humans

Marc Habermann, Lingjie Liu+4 more|arXiv (Cornell University)|Oct 21, 2022

Generative Adversarial Networks and Image Synthesis被引用数 4

ひとこと要約

HDHumansは、変形する3次元メッシュテンプレートとニューラルレイトランスフィールド（NeRF）を密接に統合したハイブリッドフレームワークを提案する。これにより、マルチビュー動画から高精細で写真のようなリアルなデジタル人間の合成が可能になる。お互いに補い合うことで、メッシュはNeRFのサンプリング効率と一般化性能を向上させ、NeRFは表面の詳細と監視を強化する。その結果、4K解像度、時間的に整合性のある新規ビューおよび動きの合成が実現され、ゆるい服や未学習の動きに対しても対応可能である。

ABSTRACT

Photo-real digital human avatars are of enormous importance in graphics, as they enable immersive communication over the globe, improve gaming and entertainment experiences, and can be particularly beneficial for AR and VR settings. However, current avatar generation approaches either fall short in high-fidelity novel view synthesis, generalization to novel motions, reproduction of loose clothing, or they cannot render characters at the high resolution offered by modern displays. To this end, we propose HDHumans, which is the first method for HD human character synthesis that jointly produces an accurate and temporally coherent 3D deforming surface and highly photo-realistic images of arbitrary novel views and of motions not seen at training time. At the technical core, our method tightly integrates a classical deforming character template with neural radiance fields (NeRF). Our method is carefully designed to achieve a synergy between classical surface deformation and NeRF. First, the template guides the NeRF, which allows synthesizing novel views of a highly dynamic and articulated character and even enables the synthesis of novel motions. Second, we also leverage the dense pointclouds resulting from NeRF to further improve the deforming surface via 3D-to-3D supervision. We outperform the state of the art quantitatively and qualitatively in terms of synthesis quality and resolution, as well as the quality of 3D surface reconstruction.

研究の動機と目的

• 高解像度、新規ビュー、未学習の動き、ゆるい服の処理に課題を抱える既存のデジタル人間合成手法の限界を解消すること。
• 画像空間のみのアプローチの3次元不整合性と低精細度、およびメッシュのみまたはNeRFのみのアプローチの一般化能力の限界を克服すること。
• 密接に結合されたハイブリッド表現を用いて、マルチビュー動画から効率的かつ高精細な写真的リアルな人間アバターの合成を可能にすること。
• 4K解像度における3次元表面再構築および新規ビュー合成の分野で最先端の性能を達成すること。
• 各動きや衣類タイプに対して明示的な監視を必要とせず、動きの一般化と動的服の変形を可能にすること。

提案手法

• 表面周辺の薄いシェルに定義されたニューラルレイトランスフィールド（NeRF）と、密で動きに応じた変形する3次元メッシュテンプレートを組み合わせたハイブリッド表現を導入する。
• メッシュを幾何的事前知識として用い、NeRFのサンプリングと特徴集約をガイドすることで、1本の光線あたりのサンプル数を64+128から32に削減し、学習を6倍高速化する。
• NeRFの高周波数の詳細と明示的な3次元監視を活用し、NeRFが推定した点からの3次元対3次元の監視によってメッシュ変形ネットワークを精緻化する。
• メッシュとNeRFを両方向の連携によって同時に学習する：メッシュがNeRFの効率的で動きに一般化可能なレンダリングをガイドし、NeRFがメッシュの詳細を向上させ、局所最適解のリスクを低減する。
• NeRFを時間的・空間的整合性を持つようにパラメータ化し、スケルトンの動きとカメラポーズに条件づけて、新規の動きとビューの合成を可能にする。
• 4Kマルチビューの監視を学習中に適用し、メッシュによるサンプリング戦略のおかげで実現可能となり、より高い解像度の出力を達成する。

実験結果

リサーチクエスチョン

• RQ1 ハイブリッドメッシュ-NeRF表現は、高精細なデジタル人間の3次元表面再構築と新規ビュー合成の品質を同時に向上させることができるか？
• RQ2 変形するメッシュテンプレートは、NeRFのサンプリングをどのようにガイドし、効率性と未学習の動き・ポーズへの一般化性能を向上させることができるか？
• RQ3 NeRFの監視は、ゆるい服や高周波数の幾何形状に対して、学習された変形メッシュの正確性と詳細度をどの程度向上させることができるか？
• RQ4 このハイブリッドアプローチは、時間的整合性と動きの一般化を維持しながら、4K解像度の写真的リアルレンダリングを達成できるか？
• RQ5 このような密接に結合されたシステムにおける学習効率と推論速度の実用的限界は何か？そして、それらをどのように改善できるか？

主な発見

• HDHumansは、3次元表面再構築および新規ビュー合成の両分野で最先端の性能を達成し、顕著に鋭いディテールと幾何的アーティファクトの低減を実現した。
• NeRFのサンプリング数を1本の光線あたり64+128から32に削減し、4Kマルチビュー動画の学習時間を29日から10日へ短縮した。
• 4112×3008解像度の画像に対する定量的評価により、4K監視が再構築誤差を低減し、忠実度を向上させることを確認した。
• 本手法は、複雑な動的服（スカートなど）を含む、新規ビューおよび未学習の動きの写真的リアルな画像を効果的に合成できた。
• 動きのリターゲティングの結果、ブルーのドレスからイエローのスカートへの動き移行でも、しわなどの微細なディテールを保持した高リアルな再現が達成された。
• 動画合成の応用では、一貫性のある照明と幾何学的整合性を保ちながら、写真的リアルなアバターを動的シーンに自然に合成できることを示した。