[논문 리뷰] Hair-GANs: Recovering 3D Hair Structure from a Single Image

Meng Zhang, Youyi Zheng|arXiv (Cornell University)|2018. 11. 15.

Computer Graphics and Visualization Techniques참고 문헌 26인용 수 6

한 줄 요약

Hair-GANs는 2D 이미지 하나에서 3D 볼륨 필드를 생성함으로써 모발 점유율과 방향성을 인코딩하는 GAN 기반 아키텍처를 제안한다. 조건부 GAN과 차원 확장 레이어, 그리고 픽셀 수준 및 잠재 공간 손실을 활용한 적대적 훈련을 통해, 기존에 존재하지 않는 스타일의 모발조차도 고해상도이고 시점 일致성을 갖춘 3D 모발 모델을 생성한다.

ABSTRACT

We introduce Hair-GANs, an architecture of generative adversarial networks, to recover the 3D hair structure from a single image. The goal of our networks is to build a parametric transformation from 2D hair maps to 3D hair structure. The 3D hair structure is represented as a 3D volumetric field which encodes both the occupancy and the orientation information of the hair strands. Given a single hair image, we first align it with a bust model and extract a set of 2D maps encoding the hair orientation information in 2D, along with the bust depth map to feed into our Hair-GANs. With our generator network, we compute the 3D volumetric field as the structure guidance for the final hair synthesis. The modeling results not only resemble the hair in the input image but also possesses many vivid details in other views. The efficacy of our method is demonstrated by using a variety of hairstyles and comparing with the prior art.

연구 동기 및 목표

• 단일 시점 3D 모발 모델링의 과제를 해결하기 위해, 깊이 정보가 부족하고 대개 대규모 데이터베이스나 탐색 기반의 추론 방법에 의존하는 문제를 해결한다.
• 기존의 데이터 기반 및 오토인코더 기반 방법의 한계를 극복하기 위해, 예시 형태에 제한된 결과를 내거나 뿌연 이미지나 일반화 능력이 떨어지는 문제를 해결한다.
• 다중 시점 입력이나 외부 데이터베이스 없이도 2D에서 3D로의 직접적인, 시각적으로 정확한 매핑을 학습하는 딥 제너레이티브 모델을 개발한다.
• 적대적 훈련과 잠재 공간 감독을 통해 생성된 3D 모발 모델의 세부 사항과 시점 간 일관성을 향상시킨다.
• 중대형 데이터베이스 의존도를 줄임으로써 모바일 및 VR/AR 애플리케이션에 적합한 실시간 추론을 가능하게 한다.

제안 방법

• 이 방법은 조건부 GAN 프레임워크를 사용하여 2D 모발 방향 맵과 부스터의 깊이 맵을 입력으로 받아 3D 볼륨 필드를 생성한다. 이 필드는 모발 점유율과 줄기 방향성을 인코딩한다.
• 2D 특징 맵의 시퀀스를 단일 채널 3D 특징 맵으로 변환하는 데 사용되는 차원 확장 레이어를 도입하여 2D CNN에서 3D 추론이 가능하도록 한다.
• 생성자 모델은 볼륨 수준 출력에서의 L2 손실과 특정 판별기 레이어에서의 특징 분포 유사성 기반의 인지적 손실을 조합한 하이브리드 손실을 사용해 훈련된다.
• 적대적 훈련은 실제 3D 필드와 생성된 필드를 구분하는 판별기의 능력을 최소화함으로써 실재감 있는 구조와 세부 정보를 유도한다.
• 네트워크는 2D 입력 이미지, 분류된 모발 마스크, 그리고 부스터의 깊이 맵에 조건을 부여하여 모발 성장에 대한 깊이 사전 지식을 제공한다.
• 3D 볼륨 필드를 생성한 후, 모발 줄기 추적 방법을 통해 높은 기하학적 정밀도를 갖춘 완전한 3D 모발 모델을 합성한다.

실험 결과

연구 질문

• RQ1 대규모 기존 모발 데이터베이스에 의존하지 않고도 GAN 기반 아키텍처가 단일 2D 이미지에서 3D 모발 구조를 효과적으로 추론할 수 있는가?
• RQ2 2D 컨볼루션 특징는 어떻게 효과적으로 3D 볼륨 표현으로 변환할 수 있으며, 깊이와 방향 정보를 유지할 수 있는가?
• RQ3 잠재 공간 감독을 통한 적대적 훈련은 기존의 L2나 오토인코딩 손실에 비해 생성된 3D 모발 모델의 시각적 품질과 구조적 세부 사항을 향상시킬 수 있는가?
• RQ4 학습 데이터에 포함되지 않은 새로운 스타일의 모발에 대해 모델이 얼마나 잘 일반화되는가?
• RQ5 특히 입력 이미지에서 멀리 떨어진 시점에서도 일관되고 고품질의 모발 모델을 생성할 수 있는가?

주요 결과

• 제안된 Hair-GANs 방법은 복잡하고 학습 데이터에 포함되지 않은 스타일의 모발조차도 높은 시각적 품질과 일관된 구조를 갖춘 3D 모발 모델을 생성한다.
• 데이터 준비에 3초 이내, 3D 필드 생성에 약 1초, 전체 모발 합성에 30초 이내로 추론가능하여 실시간 응용에 적합하다.
• 기본선인 WGAN-GP와 L2 손실 훈련에 비해 제안된 목적 함수는 훨씬 적은 노이즈와 뿌연 이미지를 유도하며, 더 선명하고 현실적인 볼륨 필드를 생성한다.
• Chai 등 [1], Saito 등 [12], Zhou 등 [11] 과 같은 이전 방법들보다 머리 윤곽과 방향성 필드를 더 잘 매칭하며, 특히 비정면 시점에서 뛰어난 성능을 보인다.
• 볼륨 출력은 투영된 마스크와 방향성 맵 모두에서 참값과 강한 일치를 보이며, 정확한 구조 재구성 능력을 나타낸다.
• 모델은 빽빽이거나 긴 머리카락을 포함한 다양한 스타일에 대해 기존 데이터베이스에서의 검색 없이도 잘 일반화된다.