[논문 리뷰] Smart Mirror: Intelligent Makeup Recommendation and Synthesis

Tam Nguyen, Luoqi Liu|arXiv (Cornell University)|2017. 09. 22.

Face recognition and analysis참고 문헌 7인용 수 7

한 줄 요약

이 논문은 얼굴 특징과 메이크업 속성 간의 학습된 모델을 활용하여 개인화된 메이크업 추천과 현실적인 메이크업 합성을 구현하는 스마트 미러 시스템을 제안한다. 얼굴의 지문 검출, 영역별 색상 모델링, 에지 보존 필터링을 결합하여 입력된 얼굴 이미지에 자연스럽고 사용자 맞춤형 메이크업 효과를 생성하며, 온라인 및 오프라인 뷰티 쇼핑 경험에 실용적인 솔루션을 제공한다.

ABSTRACT

The female facial image beautification usually requires professional editing softwares, which are relatively difficult for common users. In this demo, we introduce a practical system for automatic and personalized facial makeup recommendation and synthesis. First, a model describing the relations among facial features, facial attributes and makeup attributes is learned as the makeup recommendation model for suggesting the most suitable makeup attributes. Then the recommended makeup attributes are seamlessly synthesized onto the input facial image.

연구 동기 및 목표

• 온라인 화장품 쇼핑에서 개인화된 메이크업 추천 및 효과 시각화의 부족을 해결하기 위해.
• 개별 얼굴 특징과 속성에 기반하여 적합한 메이크업 제품을 추천할 수 있는 시스템을 개발하기 위해.
• 영역별 처리를 통해 현실적이고 자연스러운 메이크업 효과를 얼굴 이미지에 합성하기 위해.
• 얼굴 메이크업 연구를 위한 공개 가능한 데이터셋(BMD)을 구축하기 위해.
• 실세계 환경에서 메이크업 추천 및 합성 기능을 실용적이고 사용자 친화적으로 적용하기 위해.

제안 방법

• 전문가 및 소셜 미디어 자료에서 수집하고 정제한 미용 메이크업 데이터셋(BMD)을 활용하여, 정면 자세와 높은 검출 신뢰도를 확보한 500장의 고품질, 메이크업 레이블이 부여된 얼굴 이미지를 유지하였다.
• 상용 얼굴 검출기를 사용하여 87개의 얼굴 키포인트를 추출하고, 일관된 영역 기반 분석을 위해 얼굴를 정렬하였다.
• 메이크업에 영향을 받지 않는 얼굴 특징과 속성을 설계하여, 메이크업과 무관한 본질적 얼굴 특성 표현을 가능하게 하였다.
• BMD 데이터셋을 기반으로 잠재 SVM 모델을 훈련시켜 얼굴 특징, 속성과 해당 메이크업 효과 간의 매핑을 학습하여 개인화된 추천을 구현하였다.
• 눈썹 영역의 템플릿 추출을 위해 스펙트럴 매트팅을 적용하고, 기초, 눈썹, 입술 색상에 대해 각 영역별로 색상 군집화를 사용하여 색상 모델링을 수행하였다.
• 에지 보존 필터링과 영역별 색상 블렌딩을 적용하여 얼굴의 구조와 질감을 유지하면서도 자연스럽게 메이크업 효과를 합성하였다.

실험 결과

연구 질문

• RQ1 얼굴 특징과 속성을 어떻게 활용하여 개인화된 메이크업 추천을 예측할 수 있는가?
• RQ2 기초, 눈썹, 입술 등 개인 메이크업 구성 요소를 새로운 얼굴에 전달하는 데 가장 효과적인 방법은 무엇인가?
• RQ3 지능형 추천과 현실적인 합성을 통합한 단일 시스템이 실용적인 뷰티 응용 분야에 어떻게 기여할 수 있는가?
• RQ4 연구용으로 사용 가능한 대규모 고품질 얼굴 메이크업 데이터셋을 어떻게 구축할 수 있는가?
• RQ5 전역 이미지 변환 없이도 학습 기반 접근 방식이 얼마나 자연스러운 메이크업 효과를 생성할 수 있는가?

주요 결과

• 잠재 SVM 모델을 BMD 데이터셋에 훈련시켜 얼굴 특징과 메이크업 속성 간의 매핑을 성공적으로 학습하였다.
• 특히 눈썹에 대해 스펙트럴 매트팅을, 기초 및 입술에 대해 색상 군집화를 적용한 영역별 처리 방식이 정확하고 국소화된 메이크업 모델링을 가능하게 하였다.
• 에지 보존 필터링을 통해 기초의 물리적 외관을 효과적으로 시뮬레이션하여 부드럽고 자연스러운 피부 톤 전환을 구현하였다.
• 합성된 메이크업 효과는 사용자 인터페이스와 영상 데모를 통해 시각적으로 현실적이며 영역 간 자연스러운 통합이 이루어진 것으로 확인되었다.
• 최종적으로 500장의 고품질, 레이블이 부여된 얼굴 이미지로 구성된 BMD 데이터셋은 향후 개인화된 메이크업 추천 및 합성 연구를 위한 유의미한 기준이 되었다.
• 시스템은 추천과 시각화를 하나의 사용자 친화적인 인터페이스에 통합하여 온라인 및 오프라인 화장품 쇼핑에 실용적인 유용성을 입증하였다.