[논문 리뷰] SketchHairSalon: Deep Sketch-based Hair Image Synthesis

Chufeng Xiao, Yu Deng외 3명|arXiv (Cornell University)|2021. 09. 16.

Generative Adversarial Networks and Image Synthesis참고 문헌 40인용 수 5

한 줄 요약

SketchHairSalon은 이중 단계의 딥 러닝 프레임워크를 제안하여 자유로운 색채 스케치에서 직접 실사 사진 수준의 헤어 이미지를 생성함으로써 이진 마스크나 방향성 맵이 필요 없도록 한다. 자체 주의 메커니즘과 새로운 스케치-마스크-이미지 삼중조 데이터셋을 활용함으로써, 복잡한 헤어 구조와 부드러운 경계를 뛰어나게 잘 구현하며, 정성 있는 평가와 정량적 평가에서 기존 방법들을 능가한다.

ABSTRACT

Recent deep generative models allow real-time generation of hair images from sketch inputs. Existing solutions often require a user-provided binary mask to specify a target hair shape. This not only costs users extra labor but also fails to capture complicated hair boundaries. Those solutions usually encode hair structures via orientation maps, which, however, are not very effective to encode complex structures. We observe that colored hair sketches already implicitly define target hair shapes as well as hair appearance and are more flexible to depict hair structures than orientation maps. Based on these observations, we present SketchHairSalon, a two-stage framework for generating realistic hair images directly from freehand sketches depicting desired hair structure and appearance. At the first stage, we train a network to predict a hair matte from an input hair sketch, with an optional set of non-hair strokes. At the second stage, another network is trained to synthesize the structure and appearance of hair images from the input sketch and the generated matte. To make the networks in the two stages aware of long-term dependency of strokes, we apply self-attention modules to them. To train these networks, we present a new dataset containing thousands of annotated hair sketch-image pairs and corresponding hair mattes. Two efficient methods for sketch completion are proposed to automatically complete repetitive braided parts and hair strokes, respectively, thus reducing the workload of users. Based on the trained networks and the two sketch completion strategies, we build an intuitive interface to allow even novice users to design visually pleasing hair images exhibiting various hair structures and appearance via freehand sketches. The qualitative and quantitative evaluations show the advantages of the proposed system over the existing or alternative solutions.

연구 동기 및 목표

• 사용자 제공 이진 마스크가 필요 없도록 하여, 노동력이 많이 들고 부드러운 헤어 경계를 제약하는 문제를 해결한다.
• 방향성 맵 대신 색채 스케치를 직접 입력으로 사용하여, 물결무늬, 꼬임, 가림이 있는 허물 같은 복잡한 헤어 구조를 더 잘 모델링한다.
• 초보자 사용자가 최소한의 노력으로 다양한 현실적인 헤어 스타일을 직관적인 자유 스케치로 쉽게 생성할 수 있는 시스템을 개발한다.
• 네트워크의 두 단계에 자체 주의 모듈을 통합하여 헤어 선 간의 장거리 종속성을 다루어, 일관성 있는 허물과 가림 관계를 개선한다.
• 미래 연구를 지원하기 위해 1,000개 이상의 애너테이션된 스케치-헤어 매트-이미지 쌍을 포함한 새로운 데이터셋을 공개한다.

제안 방법

• 이중 단계 프레임워크: 첫 번째로, 스케치에서 색채 스케치(비-헤어 선이 포함될 수 있음)를 입력으로 받아 부드러운 헤어 매트를 생성하는 스케치-매트 네트워크를 설계하여 헤어 영역 정의의 모호성을 줄인다.
• 두 번째로, 입력 스케치와 생성된 매트를 사용하여 실사 수준의 헤어 이미지를 합성하는 스케치-이미지 네트워크를 구현하며, 색상 스트로크가 국소적인 외관을 제어한다.
• 두 네트워크에 자체 주의 모듈을 통합하여 헤어 선 간의 장거리 종속성을 모델링함으로써 일관성과 가림 관계 모델링을 향상시킨다.
• 스케치 자동 완성 전략 두 가지를 도입: 반복적인 꼬임 패턴을 완성하는 전략과 누락된 헤어 선 세그먼트를 보완하는 전략으로 사용자 입력 부담을 감소시킨다.
• 수동 애너테이션을 통해 헤어 구조와 외관을 포함한 1,000개 이상의 스케치-매트-이미지 삼중조로 구성된 새로운 데이터셋을 구축한다.
• 고해상도와 구조적 충실도를 확보하기 위해 adversarial loss와 perceptual loss를 사용하여 프레임워크를 훈련시킨다.

실험 결과

연구 질문

• RQ1 이진 마스크나 방향성 맵이 필요 없이 자유로운 색채 스케치만으로도 헤어의 구조, 외관, 형태를 효과적으로 전달할 수 있는가?
• RQ2 딥 네트워크는 헤어 선 간의 장거리 종속성을 어떻게 모델링하여 일관된 허물과 가림 관계를 유지할 수 있는가?
• RQ3 표준 컨볼루션 레이어에 비해 자체 주의 메커니즘이 복잡한 헤어 구조의 합성에 어떻게 기여하는가?
• RQ4 스케치 자동 완성 기법은 얼마나 사용자 작업 부담을 줄일 수 있으며, 시각적 품질은 유지되는가?
• RQ5 제안된 방법은 기존 스케치 기반 헤어 합성 접근법과 비교해 정량적·정성적으로 어떻게 성능을 발휘하는가?

주요 결과

• 제안된 방법은 복잡한 헤어 스타일, 특히 가림이 있거나 층이 있는 허물에 대해 정성적 평가와 정량적 평가에서 기존의 스케치 기반 헤어 합성 방법을 크게 능가한다.
• 제거 실험 결과, 자체 주의 모듈을 제거하면 거친, 일관성이 없는 결과가 발생하며, 허물의 일관성과 잘못된 가림 관계가 나타나, 이들의 필요성을 입증한다.
• 비-헤어 선을 조건 입력으로 포함함으로써 복잡한 시나리오에서 겹치는 기능이 있는 경우에도 매트 생성 정확도가 향상된다.
• 스케치 자동 완성 메커니즘이 반복 패턴(예: 꼬임)과 긴 선 세그먼트에 대해 사용자 입력을 효과적으로 줄여준다.
• 제안된 데이터셋에서의 정량적 결과로, 전체 모델은 비교된 모든 베이스라인 대비 가장 높은 FID 및 LPIPS 점수를 기록하여 우수한 이미지 품질과 현실성 확보를 입증한다.
• 시스템은 실제 헤어가 배경으로 확산되는 방식과 더 잘 일치하는 부드러운 헤어 경계를 성공적으로 생성하였으며, 이는 이진 마스크 기반 접근법과의 대비에서 뚜렷하다.