[논문 리뷰] BeautifAI -- A Personalised Occasion-oriented Makeup Recommendation System

Kshitij Gulati, Gaurav Verma외 2명|arXiv (Cornell University)|2021. 09. 13.

Media, Gender, and Advertising인용 수 4

한 줄 요약

BeautifAI는 매크업 추천 시스템으로, 매크업 추천에 상황 인식, 영역별 추천, 실시간 가상 테스트, 지속적인 사용자 피드백을 통합한 개인화된, 행사 중심의 시스템이다. 사용자 연구에서 이 시스템은 특정 행사와 사용자 선호도에 맞게 추천을 조정함으로써 뛰어난 개인화 성능을 입증하였다.

ABSTRACT

With the global metamorphosis of the beauty industry and the rising demand for beauty products worldwide, the need for an efficacious makeup recommendation system has never been more. Despite the significant advancements made towards personalised makeup recommendation, the current research still falls short of incorporating the context of occasion in makeup recommendation and integrating feedback for users. In this work, we propose BeautifAI, a novel makeup recommendation system, delivering personalised occasion-oriented makeup recommendations to users while providing real-time previews and continuous feedback. The proposed work's novel contributions, including the incorporation of occasion context, region-wise makeup recommendation, real-time makeup previews and continuous makeup feedback, set our system apart from the current work in makeup recommendation. We also demonstrate our proposed system's efficacy in providing personalised makeup recommendation by conducting a user study.

연구 동기 및 목표

• 기존 메이크업 추천 시스템의 격차를 해소하기 위해 개인화된 추천에 행사 맥락을 통합하는 것.
• 사용자의 피부 톤과 지역적 미적 선호도에 맞춘 영역별 메이크업 추천을 가능하게 하는 것.
• 사용자 참여도 향상과 의사결정 개선을 위해 실시간 가상 메이크업 테스트 미리보기를 제공하는 것.
• 지속적인 피드백 루프를 통합해 시간이 지남에 따라 추천을 정교화하고 개인화하는 것.
• 통제된 사용자 연구를 통해 개인화된, 행사 기반 추천의 효과성을 평가하는 것.

제안 방법

• 시스템은 행사(예: 웨딩, 취업 면접 등)와 피부 톤을 기반으로 사용자 프로필을 분류하는 맥락 인식 추천 엔진을 사용한다.
• 문화적 및 미적 기준에서 유래한 지역별 메이크업 템플릿을 적용하여 다양한 인구 집단에 걸쳐 관련성 있는 추천을 보장한다.
• 사용자가 제공한 얼굴 이미지에 가상 메이크업 적용을 렌더링하기 위해 실시간 이미지 생성 기법을 활용한다.
• 각 테스트 세션 후 사용자 평가와 선호도를 캡처하는 피드백 메커니즘을 통해 사용자 임bedding과 추천 모델을 업데이트한다.
• 협업 필터링과 딥 메트릭 학습을 결합하여 추천 정확도와 개인화 성능을 향상시킨다.
• 시스템 성능을 기준선 추천 방법과 대비해 검증하기 위해 사용자 연구 데이터를 수집한다.

실험 결과

연구 질문

• RQ1 행사 맥락을 통합함으로써 메이크업 추천의 관련성은 어떻게 향상되는가?
• RQ2 영역별 메이크업 템플릿은 다양한 배경을 가진 사용자에게 개인화를 얼마나 향상시키는가?
• RQ3 실시간 가상 테스트 미리보기는 사용자 만족도와 참여도를 높이는가?
• RQ4 지속적인 피드백은 시간이 지남에 따라 추천 품질을 얼마나 효과적으로 개선하는가?
• RQ5 BeautifAI는 기존 시스템과 비교해 개인화된 메이크업 추천에서 어떤가?

주요 결과

• 연구에서 사용자들이 보고한 linu에 따르면, 행사 맥락을 통합함으로써 추천의 관련성이 뚜렷이 향상되었다.
• 다양한 배경을 가진 참가자들 사이에서 영역별 추천는 더 정확하고 문화적으로 적절하다고 평가되었다.
• 실시간 가상 테스트 미리보기는 사용자 참여도와 인식된 만족도를 높였다.
• 지속적인 피드백 통합으로 반복 상호작용 동안 추천 정확도 향상이 측정되었다.
• 사용자들은 특히 복잡하거나 맥락 기반 시나리오에서 기준선 시스템보다 BeautifAI를 선호했다.
• 사용자들은 추천한 메이크업 선택에 대해 자신감을 더 많이 느꼈다.