[논문 리뷰] Makeup like a superstar: Deep Localized Makeup Transfer Network

Si Liu, Xinyu Ou외 3명|arXiv (Cornell University)|2016. 04. 25.

Face recognition and analysis참고 문헌 20인용 수 43

한 줄 요약

이 논문은 깊이 있는 局소화된 메이크업 전이 네트워크를 제안하며, 개인 맞춤형 메이크업을 자동으로 추천하고, 기초, 아이섀도우, 립글로스를 국소적이고, 화장품 특화되며, 조절 가능한 밝기로 목표 얼굴에 전이한다. 이 방법은 얼굴 파싱 네트워크를 사용하여 부위 간 화장품 대응 관계를 설정하고, 전역적인 부드러움 정규화를 통한 딥 특징 조작을 적용하여, 정성 있는 결과를 달성하며, 정성 있는 평가와 정량적 평가에서 최신 기술보다 뛰어난 성능을 보였다.

ABSTRACT

In this paper, we propose a novel Deep Localized Makeup Transfer Network to automatically recommend the most suitable makeup for a female and synthesis the makeup on her face. Given a before-makeup face, her most suitable makeup is determined automatically. Then, both the beforemakeup and the reference faces are fed into the proposed Deep Transfer Network to generate the after-makeup face. Our end-to-end makeup transfer network have several nice properties including: (1) with complete functions: including foundation, lip gloss, and eye shadow transfer; (2) cosmetic specific: different cosmetics are transferred in different manners; (3) localized: different cosmetics are applied on different facial regions; (4) producing naturally looking results without obvious artifacts; (5) controllable makeup lightness: various results from light makeup to heavy makeup can be generated. Qualitative and quantitative experiments show that our network performs much better than the methods of [Guo and Sim, 2009] and two variants of NerualStyle [Gatys et al., 2015a].

연구 동기 및 목표

• 주어진 여성의 얼굴에 대해 시각적 유사도를 기반으로 적합한 메이크업을 자동으로 추천할 수 있는 종단 간 딥 러닝 시스템을 개발하는 것.
• 기초, 아이섀도우, 립글로스를 참조 얼굴에서 메이크업 이전 얼굴로 국소적이고, 화장품 특화된 방식으로 전이할 수 있도록 하는 것.
• 눈에 띄는 잡티 없이 자연스러운 메이크업 결과를 만들어내어 원래 얼굴과 자연스럽게 융합되도록 하는 것.
• 메이크업의 밝기를 제어할 수 있도록 하여 경미한 메이크업에서 강한 메이크업에 이르기까지 다양한 결과를 생성할 수 있도록 하는 것.
• Guo와 Sim (2009) 및 NeuralStyle (Gatys 등, 2015a)와 같은 기존 방법보다 시각적 품질과 사용자 선호도 측면에서 뛰어나게 하는 것.

제안 방법

• 전체 컨volution 네트워크 기반의 얼굴 파싱 네트워크를 사용하여, 메이크업 이전 얼굴과 참조 얼굴 모두에 대해 레이블맵을 생성하고, 얼굴 부위와 화장품 관련 영역을 식별한다.
• 사전 훈련된 얼굴 인식 네트워크를 통해 유클리드 거리로 측정된 딥 특징 유사도를 이용하여, 해당 얼굴 부위 간(예: 입에서 입으로) 화장품 대응 관계를 설정한다.
• 아이섀도우는 형태를 유지하기 위해 딥 특징을 직접 조작하여 전이하고, 기초는 피부 질감을 부드럽게 하기 위해 내적 곱 정규화를 사용하여 전이한다.
• 립글로스는 국소적 특징 조절을 통해 색상과 반짝임 일관성을 유지하면서 전이한다.
• 메이크업 이후 얼굴은 메이크업 이전 얼굴로 초기화되고, 전역적 부드러움 정규화를 통한 확률적 경사 하강법을 통해 개선되어 자연스러운 외관을 확보한다.
• 각 화장품 구성 요소의 가중치를 조정하여 메이크업의 총 밝기를 제어하고, 미세한 메이크업에서 드라마틱한 메이크업에 이르기까지 연속적인 결과 범위를 생성할 수 있도록 한다.

실험 결과

연구 질문

• RQ1 시각적 유사도를 기반으로 딥 러닝 기반 시스템이 주어진 메이크업 이전 얼굴에 가장 적합한 메이크업을 자동으로 추천할 수 있는가?
• RQ2 기초, 아이섀도우, 립글로스를 어떻게 국소적이고, 시각적 특징과 공간적 정렬을 유지하는 방식으로 전이할 수 있는가?
• RQ3 특히 다른 표정이나 피부 톤을 가진 얼굴 간 전이 시에도 잡티 없이 자연스러운 결과를 생성할 수 있는가?
• RQ4 메이크업의 밝기를 얼마나 제어할 수 있으며, 경미한 메이크업에서 강한 메이크업에 이르기까지 스펙트럼을 생성할 수 있는가?
• RQ5 Guo와 Sim (2009) 및 NeuralStyle (Gatys 등, 2015a)와 같은 기존 최신 기술과 비교하여 정량적 및 정성적 평가에서 본 방법은 어떻게 성과를 내는가?

주요 결과

• 제안된 방법은 Guo와 Sim (2009)보다 유의미하게 높은 사용자 선호도를 달성했으며, 사용자 비교에서 9.7%는 '매우 더 좋음', 55.9%는 '더 좋음'으로 평가되었다.
• NeuralStyle-CC 및 NeuralStyle-CS와 비교해 본 방법은 각각 82.7% 및 82.8%의 경우에서 '매우 더 좋음'으로 평가되었고, '매우 더 나쁨'으로 평가된 사례는 없었다.
• 방법은 정확한 색상과 형태 유지로 아이섀도우와 립글로스를 성공적으로 전이했으며, Guo와 Sim (2009)에서 관찰된 과도한 밝아짐 문제를 피했다.
• 전역적 전이 방법인 NeuralStyle가 정렬 불일치와 질감 불일치 문제를 겪는 데 반해, 국소적 전이 덕분에 잡티가 최소화된 결과를 생성했다.
• 국소적 설계 덕분에 표정 처리에 효과적으로 대응했으며, 예를 들어 웃는 얼굴에서 이를 영향받지 않고 립글로스를 전이할 수 있었다.
• 네트워크를 통해 메이크업 밝이 제어 가능해져, 동일한 참조 얼굴을 사용해도 미세한 메이크업에서 드라마틱한 메이크업에 이르기까지 다양한 결과를 생성할 수 있었다.