[논문 리뷰] GaussianHair: Hair Modeling and Rendering with Light-aware Gaussians

Haimin Luo, Min Ouyang외 7명|arXiv (Cornell University)|2024. 02. 16.

3D Shape Modeling and Analysis인용 수 4

한 줄 요약

GaussianHair는 이미지에서 모발 기하학과 외관을 모델링하기 위해 연결된 실린더형 3D 가우시안을 사용하는 새로운 명시적 모발 표현 방식을 제안한다. 이는 고해상도의 미분 가능한 부피 렌더링을 가능하게 하며, 기존 컴퓨터 그래픽스(CG) 파이프라인과 원활하게 통합된다. 이는 기하학적 및 외관 적합도에서 최신 기술 수준을 달성하며, 실시간 재조명, 편집, 동적 애니메이션을 지원한다. 전용 산란 모델을 통해 복잡한 조명 조건에서도 현실감을 향상시킨다.

ABSTRACT

Hairstyle reflects culture and ethnicity at first glance. In the digital era, various realistic human hairstyles are also critical to high-fidelity digital human assets for beauty and inclusivity. Yet, realistic hair modeling and real-time rendering for animation is a formidable challenge due to its sheer number of strands, complicated structures of geometry, and sophisticated interaction with light. This paper presents GaussianHair, a novel explicit hair representation. It enables comprehensive modeling of hair geometry and appearance from images, fostering innovative illumination effects and dynamic animation capabilities. At the heart of GaussianHair is the novel concept of representing each hair strand as a sequence of connected cylindrical 3D Gaussian primitives. This approach not only retains the hair's geometric structure and appearance but also allows for efficient rasterization onto a 2D image plane, facilitating differentiable volumetric rendering. We further enhance this model with the "GaussianHair Scattering Model", adept at recreating the slender structure of hair strands and accurately capturing their local diffuse color in uniform lighting. Through extensive experiments, we substantiate that GaussianHair achieves breakthroughs in both geometric and appearance fidelity, transcending the limitations encountered in state-of-the-art methods for hair reconstruction. Beyond representation, GaussianHair extends to support editing, relighting, and dynamic rendering of hair, offering seamless integration with conventional CG pipeline workflows. Complementing these advancements, we have compiled an extensive dataset of real human hair, each with meticulously detailed strand geometry, to propel further research in this field.

연구 동기 및 목표

• 디지털 콘텐츠 제작에서 다양한 인간의 헤어스타일을 위한 현실적이고 실시간 렌더링이 가능한 모발 모델링 기술의 과제를 해결하기 위해.
• 애니메이션, 재조명, CG 파이프라인 호환성 측면에서 암시적 신경 표현 방식의 한계를 극복하기 위해.
• 이미지에서 기하학적 복원, 외관 모델링, 동적 렌더링을 지원하는 명시적이고, 미분 가능한 모발 표현 방식을 개발하기 위해.
• 다양한 세계의 모발 유형을 대규모로 촬영하고 레이블링한 데이터셋을 통해 디지털 인간의 문화적 포용성을 확보하기 위해.
• 편집, 재조명, 애니메이션에 적합한 기존 컴퓨터 그래픽스 워크플로우와 호환되는 프로덕션 준비 완료 솔루션을 제공하기 위해.

제안 방법

• 각 모발 줄기를 기하학적 및 외관 세부 정보를 유지하기 위해 연결된 실린더형 3D 가우시안 기반 원소의 시퀀스로 표현한다.
• Marschner 모델의 원리와 UE4의 실시간 렌더링 기법을 융합한 GaussianHair 산란 모델을 도입하여 정확한 빛 상호작용을 구현한다.
• 다중 시점 이미지에서 기하학적 및 외관 파rameter를 종합 최적화할 수 있도록, 미분 가능한 부피 렌더링을 사용한다.
• 실제감을 향상시키기 위해 알베도, 거칠기, BRDF 파rameter를 동시에 최적화하는 신경 역재현(역렌더링) 기법을 활용한다.
• 재구성된 줄기 모델을 기존 CG 렌더러에 임포트하여 바람 시뮬레이션 등의 동적 애니메이션을 가능하게 한다.
• 281개의 고해상도 영상(3000프레임)으로 구성된 RealHair 데이터셋을 구축하여, 훈련 및 평가를 위한 세부적인 줄기 수준의 기하학적 구조와 세그멘테이션 정보를 제공한다.

실험 결과

연구 질문

• RQ1 암시적 신경 방법 대비 3D 가우시안 기반의 명시적 표현 방식이 모발 모델링에서 기하학적 및 외관 적합도 측면에서 뛰어난 성능을 내는가?
• RQ2 GaussianHair 산란 모델이 다양한 모발 유형에서 다중 산란 및 색상 변화와 같은 복잡한 빛 상호작용을 얼마나 정확하게 시뮬레이션할 수 있는가?
• RQ3 재구성된 모발 모델이 표준 CG 파이프라인 내에서 실시간 재조명 및 동적 애니메이션을 얼마나 잘 지원하는가?
• RQ4 메쉬나 땅이 꼬인 머리카락 같은 복잡한 헤어스타일에 일반화 가능한가, 아니면 내재된 기하학적 제약이 존재하는가?
• RQ5 소비자용 스마트폰 영상에서 다양한 문화권의 모발 유형을 얼마나 효과적으로 캡처할 수 있는가?

주요 결과

• GaussianHair는 시각적 품질과 세부 정보 측면에서 기존의 암시적 및 명시적 방법들을 능가하는 최신 기술 수준의 기하학적 및 외관 적합도를 달성한다.
• GaussianHair 산란 모델은 일반적이고 시네마틱한 조명 조건 하에서도 포토레알리틱한 렌더링을 가능하게 하며, 빛의 침투, 그림자, 색상 변화를 정확히 시뮬레이션한다.
• 기존 CG 파이프라인과 원활하게 통합되어, 표준 렌더링 엔진을 사용한 실시간 재조명 및 동적 애니메이션을 지원한다.
• 281개의 4K 영상로 구성된 RealHair 데이터셋은 세부적인 줄기 수준의 레이블링을 포함하여, 향후 연구를 위한 문화적으로 다양한 고해상도 기준을 제공한다.
• 개별 줄기 편집, 재조명, 애니메이션 기능을 지원하여 프로덕션 워크플로우와의 강력한 호환성을 입증한다.
• 복잡한 내부 구조(예: 땅이 꼬인 머리카락) 모델링에 한계가 있음에도 불구하고, 소비자용 장비로 촬영한 입력 자료에서 스케일러블하고 고해상도의 모발 모델링 잠재력을 잘 보여준다.