[論文レビュー] GaussianHair: Hair Modeling and Rendering with Light-aware Gaussians

Haimin Luo, Min Ouyang+7 more|arXiv (Cornell University)|Feb 16, 2024

3D Shape Modeling and Analysis被引用数 4

ひとこと要約

GaussianHair は、画像から髪の幾何学的形状と外観をモデル化するため、接続された円柱型 3D ガウス分布を用いた画期的な明示的髪表現を提案する。この手法により、高精細で微分可能なボリュメトリックレンダリングが可能となり、従来の CG パイプラインへのシームレスな統合が実現される。幾何学的・外観的忠実度が最先端水準に達し、リアルタイムの再ライティング、編集、動的アニメーションが可能である。また、複雑な照明下でも現実性を高めるために、専用の散乱モデルを採用している。

ABSTRACT

Hairstyle reflects culture and ethnicity at first glance. In the digital era, various realistic human hairstyles are also critical to high-fidelity digital human assets for beauty and inclusivity. Yet, realistic hair modeling and real-time rendering for animation is a formidable challenge due to its sheer number of strands, complicated structures of geometry, and sophisticated interaction with light. This paper presents GaussianHair, a novel explicit hair representation. It enables comprehensive modeling of hair geometry and appearance from images, fostering innovative illumination effects and dynamic animation capabilities. At the heart of GaussianHair is the novel concept of representing each hair strand as a sequence of connected cylindrical 3D Gaussian primitives. This approach not only retains the hair's geometric structure and appearance but also allows for efficient rasterization onto a 2D image plane, facilitating differentiable volumetric rendering. We further enhance this model with the "GaussianHair Scattering Model", adept at recreating the slender structure of hair strands and accurately capturing their local diffuse color in uniform lighting. Through extensive experiments, we substantiate that GaussianHair achieves breakthroughs in both geometric and appearance fidelity, transcending the limitations encountered in state-of-the-art methods for hair reconstruction. Beyond representation, GaussianHair extends to support editing, relighting, and dynamic rendering of hair, offering seamless integration with conventional CG pipeline workflows. Complementing these advancements, we have compiled an extensive dataset of real human hair, each with meticulously detailed strand geometry, to propel further research in this field.

研究の動機と目的

• デジタルコンテンツ制作における多様な人間の髪型を対象に、リアルでリアルタイムな髪のモデリングとレンダリングを実現すること。
• アニメーション、再ライティング、CG パイプライン互換性の面で、従来の暗黙的ニューラル表現に見られる制約を克服すること。
• 画像から幾何学的再構築、外観モデリング、動的レンダリングをサポートする明示的で微分可能な髪表現を開発すること。
• 大規模かつアノテーション済みのデータセットを活用して、世界中の多様な髪の種類を捉えることで、デジタル・ヒューマンにおける文化的包摂性を実現すること。
• 既存のコンピュータ・グラフィックスワークフローと互換性があり、編集、再ライティング、アニメーションが可能なプロダクション対応ソリューションを提供すること。

提案手法

• 各髪の毛を、幾何学的・外観的詳細を保持するように、接続された円柱型 3D ガウスプリミティブの列として表現する。
• Marschner モデルの原則と UE4 のリアルタイムレンダリングを組み合わせた、GaussianHair 散乱モデルを導入し、正確な光の相互作用を実現する。
• 微分可能なボリュメトリックレンダリングを用いて、マルチビュー画像からの幾何学的形状と外観のエンド・ツー・エンド最適化を可能にする。
• 神経逆レンダリングアプローチを活用し、アルベド、粗さ、BRDF パrameter を同時に最適化することで、より現実的な外観を実現する。
• 再構築されたストランドモデルを従来の CG レンダラーにインポートし、風シミュレーションなどの動的アニメーションを可能にする。
• 281 本の高解像度動画（3000 フレーム）を含む RealHair データセットを構築し、学習および評価用に詳細なストランドレベルの幾何学的形状とセグメンテーションを提供する。

実験結果

リサーチクエスチョン

• RQ1 3D ガウスベースの明示的表現は、暗黙的ニューラル手法と比較して、髪モデリングにおける幾何学的・外観的忠実度をより優れた水準に達成できるか？
• RQ2 GaussianHair 散乱モデルは、多様な髪の種類において、多重散乱や色の変化といった複雑な光の相互作用をどれほど正確にシミュレートできるか？
• RQ3 再構築された髪モデルは、標準的な CG パイプライン内でどれほどリアルタイムの再ライティングと動的アニメーションをサポートできるか？
• RQ4 この手法は、編み込みやねじり髪のような複雑な髪型にも一般化可能か、それとも固有の構造的制限があるか？
• RQ5 この手法は、消費者用スマートフォン動画から文化的に多様な髪の種類をどれほど効果的に捉えることができるか？

主な発見

• GaussianHair は、視覚的品質と詳細さにおいて、既存の暗黙的および明示的手法を上回る最先端の幾何学的・外観的忠実度を達成した。
• GaussianHair 散乱モデルにより、通常および映画用の照明下でも、光の透過、影の形成、色の変化を正確にシミュレートしたフォトリアルレンダリングが可能になった。
• 従来の CG パイプラインへのシームレスな統合が可能で、標準レンダラーを用いたリアルタイムの再ライティングと動的アニメーションが実現された。
• 281 本の 4K 動画から構成され、詳細なストランドアノテーションが付与された RealHair データセットは、将来的な研究のための文化的に多様で高品質なベンチマークを提供する。
• 個々の髪の毛の編集、再ライティング、アニメーションが可能であり、プロダクションワークフローとの強い互換性を示した。
• 編み込みのような複雑な内部構造のモデリングには制限があるものの、消費者用入力からもスケーラブルで高精細な髪モデリングの強力な可能性を示した。