[논문 리뷰] DeepSketchHair: Deep Sketch-based 3D Hair Modeling

Yuefan Shen, Changgeng Zhang외 3명|arXiv (Cornell University)|2019. 08. 20.

Computer Graphics and Visualization Techniques참고 문헌 51인용 수 5

한 줄 요약

DeepSketchHair는 세 가지 GAN 기반 네트워크를 사용하여 2D 스케치에서 고품질의 실선 수준 3D 헤어 모델을 생성하는 딥러닝 프레임워크를 소개한다: S2ONet는 2D 방향성 필드 예측을 담당하고, O2VNet는 깊이 지도를 활용한 공간적 가이던스를 통해 3D 벡터 필드를 생성하며, V2VNet는 다중 시점 편집을 가능하게 한다. 이 시스템은 사용자가 지정한 스케치를 통해 직관적이고 인터랙티브한 3D 헤어 모델링을 가능하게 하며, 다양한 스타일에서 현실적이고 세밀한 헤어 스타일을 구현한다.

ABSTRACT

We present sketchhair, a deep learning based tool for interactive modeling of 3D hair from 2D sketches. Given a 3D bust model as reference, our sketching system takes as input a user-drawn sketch (consisting of hair contour and a few strokes indicating the hair growing direction within a hair region), and automatically generates a 3D hair model, which matches the input sketch both globally and locally. The key enablers of our system are two carefully designed neural networks, namely, S2ONet, which converts an input sketch to a dense 2D hair orientation field; and O2VNet, which maps the 2D orientation field to a 3D vector field. Our system also supports hair editing with additional sketches in new views. This is enabled by another deep neural network, V2VNet, which updates the 3D vector field with respect to the new sketches. All the three networks are trained with synthetic data generated from a 3D hairstyle database. We demonstrate the effectiveness and expressiveness of our tool using a variety of hairstyles and also compare our method with prior art.

연구 동기 및 목표

• 전문가 수준의 기술이 필요 없이 2D 스케치로부터 직관적이고 인터랙티브한 3D 헤어 모델링을 가능하게 하기 위해.
• 기존의 이미지 기반 방법이 자유형 사용자 설계나 편집을 지원하지 못하는 한계를 해결하기 위해.
• 희박한 2D 입력으로부터 실선 수준의 현실적인 헤어를 생성하기 위해 딥러닝을 활용하여 3D 헤어 모델링의 복잡성을 완화하기 위해.
• 다른 시점에서의 새로운 스케치를 사용하여 3D 벡터 필드를 업데이트함으로써 다중 시점 편집을 지원하기 위해.
• 사용성, 표현력, 기하학적 정확도의 균형을 맞춘 3D 헤어 생성 시스템을 구축하기 위해.

제안 방법

• S2ONet는 2D 스케치(헤어 윤곽선 및 방향 스트로크)를 조밀한 2D 헤어 방향성 필드로 변환하는 GAN 기반의 픽셀 간 전이 네트워크이다.
• O2VNet는 3D 뷰스 모델의 깊이 맵을 공간적 가이던스로 사용하여 2D 방향성 필드를 3D 벡터 필드로 매핑하는 또 다른 GAN 기반 네트워크이다.
• 생성된 3D 벡터 필드는 물리적 시뮬레이션과 유사한 방식으로 현실적인 실선 수준의 헤어 기하 구조를 생성하는 데 사용된다.
• V2VNet는 새로운 2D 스케치를 다양한 시점에서 입력받아 3D 벡터 필드를 업데이트하는 바이트-바이트 전이를 수행함으로써 다중 시점 편집을 가능하게 한다.
• 모든 네트워크는 다양성과 일반화를 보장하기 위해 3D 헤어 스타일 데이터베이스에서 생성된 합성 데이터를 기반으로 훈련된다.
• 보조 도구를 통해 사용자 제어력을 향상시키기 위해 생성된 헤어 모델의 미세 조정이 가능하다.

실험 결과

연구 질문

• RQ1 딥러닝 기반 시스템이 최소한의 2D 스케치 입력으로 고품질의 실선 수준 3D 헤어 모델을 생성할 수 있는가?
• RQ2 GAN 기반 네트워크가 흩어진 사용자 스트로크에서 조밀한 2D 헤어 방향성 필드를 얼마나 효과적으로 예측할 수 있는가?
• RQ3 깊이 지도를 활용한 GAN을 통해 2D 방향성 필드에서 3D 벡터 필드를 정확하게 재구성할 수 있는가?
• RQ4 다중 시점 2D 스케치를 얼마나 잘 활용하여 실시간으로 3D 헤어 모델을 반복적으로 정밀화하고 편집할 수 있는가?
• RQ5 투영 및 라플라스 손실과 같은 손실 함수가 생성된 3D 헤어 필드의 현실성과 매끄러움을 얼마나 향상시키는가?

주요 결과

• Ablation 연구에서 S2ONet는 평균 제곱오차(MSE) 4.01을 기록하여 라플라시안 확산(Laplacian Diffuse, 6.98) 및 무작위 선택(Random Selection, 6.60)과 같은 베이스라인 방법보다 유의미하게 뛰어난 성능을 보였다.
• 투영 및 라플라스 손실을 적용한 O2VNet는 유사한 MSE 값에도 불구하고 더 높은 매끄러움과 진짜 값에 가까운 일치도를 보였다.
• Ablation 연구 결과, O2VNet에 전체 손실 함수를 적용한 모델은 이러한 손실이 없는 모델 대비 더 현실적인 굵기와 방향 일致성을 보였다.
• V2VNet는 다중 시점 편집 중 이전 시점의 특징을 더 잘 유지하고 마스킹된 영역을 정확하게 채우는 데서 Delanoy 등 [37]의 방법보다 뛰어난 성능을 보였다.
• 시스템은 웨이브, 컬리, 날카로운, 매끄러운 형태를 포함한 복잡한 헤어 스타일을 성공적으로 생성하여 광범위한 표현력을 입증했다.
• 한계점으로는 고밀도 헤어 스타일(예: 아프로)의 세밀한 디테일을 고정 해상도와 훈련 데이터에 없는 스타일로 인해 모델링하기 어려운 점이 있다.