[논문 리뷰] Single-View Hair Reconstruction using Convolutional Neural Networks

Yi Zhou, Liwen Hu외 5명|arXiv (Cornell University)|2018. 06. 19.

Advanced Vision and Imaging인용 수 3

한 줄 요약

이 논문은 2D 방향성 필드를 입력으로 사용하고, 30K개의 균일하게 분포된 머리카락 실을 현실적인 충돌 및 가시성 모델링으로 생성하는 실시간, 딥러닝 기반의 단일 시각 3D 머리카락 재구성 방법을 제안한다. 이 방법은 압축된 연속적인 헤어스타일 표현과 보간을 가능하게 하며, 이전 방법 대비 1000배 빠른 속도 향상을 이룩하면서도, 합성에서 실세계로의 도메인 적응을 통해 실제 인터넷 이미지로의 일반화를 달성한다.

ABSTRACT

We introduce a deep learning-based method to generate full 3D hair geometry from an unconstrained image. Our method can recover local strand details and has real-time performance. State-of-the-art hair modeling techniques rely on large hairstyle collections for nearest neighbor retrieval and then perform ad-hoc refinement. Our deep learning approach, in contrast, is highly efficient in storage and can run 1000 times faster while generating hair with 30K strands. The convolutional neural network takes the 2D orientation field of a hair image as input and generates strand features that are evenly distributed on the parameterized 2D scalp. We introduce a collision loss to synthesize more plausible hairstyles, and the visibility of each strand is also used as a weight term to improve the reconstruction accuracy. The encoder-decoder architecture of our network naturally provides a compact and continuous representation for hairstyles, which allows us to interpolate naturally between hairstyles. We use a large set of rendered synthetic hair models to train our network. Our method scales to real images because an intermediate 2D orientation field, automatically calculated from the real image, factors out the difference between synthetic and real hairs. We demonstrate the effectiveness and robustness of our method on a wide range of challenging real Internet pictures and show reconstructed hair sequences from videos.

연구 동기 및 목표

• 대규모 헤어스타일 컬렉션과 최근접 이웃 검색에 의존하는 최신 기술들이 겪는 비효율성과 높은 스토리지 요구량 문제를 해결하기 위해.
• 제약이 없는 단일 이미지에서 높은 기하학적 정밀도와 국소적 실의 세부 정보를 갖춘 실시간 3D 머리카락 재구성 가능하게 하기 위해.
• 다양한 스타일 간 자연스러운 보간을 지원할 수 있는 압축되고 연속적인 헤어스타일 표현을 개발하기 위해.
• 합성 훈련 데이터와 실세계 이미지 사이의 도메인 갭을 메우기 위해 중간 단계의 2D 방향성 필드를 사용하기 위해.

제안 방법

• 2D 모낭 표면의 방향성 필드를 처리하는 U-Net 유사한 인코더-디코더 CNN 아키텍처가 매개변수화된 2D 두피 위에 분포된 실 특징을 예측한다.
• 물리적으로 타당한 머리카락 실 분포를 보장하고 교차를 줄이기 위해 충돌 손실을 통합한다.
• 각 실의 가시성을 가중치 항목으로 모델링하여 시각적으로 보이는 영역에 초점을 맞춰 재구성 정확도를 향상시킨다.
• 엔드 투 엔드 훈련을 가능하게 하기 위해 렌더링된 합성 머리카락 모델의 대규모 데이터셋을 사용하여 실 이미지로의 일반화를 가능하게 한다.
• 실 이미지에서 자동으로 중간 2D 방향성 필드를 추출하여 합성과 실세계 머리카락 외관 간의 차이를 분리한다.
• 인코더에서 유도된 연속적이고 압축된 표현은 학습된 헤어스타일 간 자연스러운 보간을 가능하게 한다.

실험 결과

연구 질문

• RQ1 딥러닝 모델은 제약이 없는 단일 이미지에서 실시간으로 30K개의 실을 포함한 세밀한 3D 머리카락 기하 구조를 재구성할 수 있는가?
• RQ2 신경망은 자연스러운 보간을 가능하게 하는 압축되고 연속적인 헤어스타일 표현을 어떻게 학습할 수 있는가?
• RQ3 실제 충돌과 가시성을 갖춘 신뢰할 수 있는 실 구성 방식을 합성하기 위해 가장 효과적인 손실 함수는 무엇인가?
• RQ4 사전 미세조정 없이도 합성 데이터로 훈련된 모델이 실세계 이미지로 얼마나 잘 일반화되는가?
• RQ5 중간 단계의 2D 방향성 필드 사용이 합성에서 실세계 머리카락 이미지로의 도메인 일반화를 얼마나 향상시키는가?

주요 결과

• 이 방법은 최신의 검색 기반 접근 방식 대비 1000배 빠른 실시간 성능을 달성하면서도 30K개의 머리카락 실을 생성한다.
• 충돌 손실의 포함으로 실의 교차를 줄여 재구성된 헤어스타일의 타당성이 크게 향상된다.
• 가시성 기반 가중치는 실이 시각적으로 보이는 영역에 집중함으로써 재구성 정확도를 향상시킨다.
• 모델은 다양한 실세계 이미지(어려운 조명 및 자세 변화 포함)로도 강력하게 일반화된다.
• 학습된 잠재 공간은 서로 다른 헤어스타일 간에 부드럽고 자연스러운 보간을 가능하게 하여 연속적이고 의미 있는 표현을 보여준다.
• 중간 단계의 2D 방향성 필드 사용은 효과적인 도메인 적응을 가능하게 하여, 재학습 없이도 합성 훈련 데이터에서 실 이미지로의 일반화를 달성한다.