[论文解读] BeautifAI -- A Personalised Occasion-oriented Makeup Recommendation System

Kshitij Gulati, Gaurav Verma+2 more|arXiv (Cornell University)|Sep 13, 2021

Media, Gender, and Advertising被引用 4

一句话总结

BeautifAI 是一个个性化、场景导向的美妆推荐系统，整合了情境化场景意识、区域化美妆建议、实时虚拟试妆预览以及持续的用户反馈。在用户研究中，该系统通过针对特定活动和用户偏好的自适应推荐，展现出卓越的个性化能力。

ABSTRACT

With the global metamorphosis of the beauty industry and the rising demand for beauty products worldwide, the need for an efficacious makeup recommendation system has never been more. Despite the significant advancements made towards personalised makeup recommendation, the current research still falls short of incorporating the context of occasion in makeup recommendation and integrating feedback for users. In this work, we propose BeautifAI, a novel makeup recommendation system, delivering personalised occasion-oriented makeup recommendations to users while providing real-time previews and continuous feedback. The proposed work's novel contributions, including the incorporation of occasion context, region-wise makeup recommendation, real-time makeup previews and continuous makeup feedback, set our system apart from the current work in makeup recommendation. We also demonstrate our proposed system's efficacy in providing personalised makeup recommendation by conducting a user study.

研究动机与目标

• 为填补现有美妆推荐系统在推荐中缺乏场景上下文的空白，将场景信息融入个性化推荐中。
• 实现基于区域的美妆推荐，以匹配用户的肤色和区域性的审美偏好。
• 提供实时虚拟试妆预览，以提升用户参与度和决策能力。
• 整合持续的反馈循环，以随时间推移不断优化和个性化推荐。
• 通过受控的用户研究，对比个性化、基于场景的推荐，评估系统的有效性。

提出的方法

• 系统采用上下文感知推荐引擎，根据场景（如婚礼、求职面试）和肤色对用户档案进行分类。
• 应用基于文化和审美规范的区域特定美妆模板，以确保在多样化人群中的相关性。
• 采用实时图像生成技术，在用户提供的面部图像上渲染虚拟美妆效果。
• 通过反馈机制捕捉每次试妆会话后的用户评分和偏好，以更新用户嵌入和推荐模型。
• 结合协同过滤与深度度量学习，以提升推荐的准确性和个性化程度。
• 收集用户研究数据，以验证系统性能相对于基线推荐方法的表现。

实验结果

研究问题

• RQ1 将场景上下文融入推荐在多大程度上提升了美妆推荐的相关性？
• RQ2 基于区域的美妆模板在多大程度上增强了对多样化用户的个性化推荐？
• RQ3 实时虚拟试妆预览是否能提升用户满意度和参与度？
• RQ4 持续反馈在多大程度上有效提升了随时间推移的推荐质量？
• RQ5 BeautifAI 与现有系统相比，在个性化美妆推荐方面表现如何？

主要发现

• 用户研究显示，加入场景上下文显著提升了推荐的相关性。
• 来自不同背景的参与者认为基于区域的推荐更加准确且符合文化习惯。
• 实时虚拟试妆预览显著提高了用户参与度和感知满意度。
• 持续反馈的整合在重复交互中带来了可衡量的推荐准确率提升。
• 用户更偏好 BeautifAI 而非基线系统，尤其是在复杂或情境特定的场景中。
• 系统展现出强大的个性化性能，用户报告对推荐的美妆选择更有信心。