[論文レビュー] BeautifAI -- A Personalised Occasion-oriented Makeup Recommendation System

Kshitij Gulati, Gaurav Verma+2 more|arXiv (Cornell University)|Sep 13, 2021

Media, Gender, and Advertising被引用数 4

ひとこと要約

BeautifAI は、文脈的な特別な機会の認識、地域別メイクの提案、リアルタイムのバーチャルトライオンプレビュー、継続的なユーザーのフィードバックを統合した、パーソナライズされた、特別な機会に配慮したメイクアップ推薦システムです。ユーザーの研究において、特定のイベントやユーザーの好みに適応することで、優れたパーソナライズ性を示しています。

ABSTRACT

With the global metamorphosis of the beauty industry and the rising demand for beauty products worldwide, the need for an efficacious makeup recommendation system has never been more. Despite the significant advancements made towards personalised makeup recommendation, the current research still falls short of incorporating the context of occasion in makeup recommendation and integrating feedback for users. In this work, we propose BeautifAI, a novel makeup recommendation system, delivering personalised occasion-oriented makeup recommendations to users while providing real-time previews and continuous feedback. The proposed work's novel contributions, including the incorporation of occasion context, region-wise makeup recommendation, real-time makeup previews and continuous makeup feedback, set our system apart from the current work in makeup recommendation. We also demonstrate our proposed system's efficacy in providing personalised makeup recommendation by conducting a user study.

研究の動機と目的

• 既存のメイクアップ推薦システムにおけるギャップに対処するため、パーソナライズされた提案に特別な機会の文脈を統合すること。
• ユーザーの肌色と地域の美的嗜好に合わせた、地域別にカスタマイズされたメイクアップ提案を可能にすること。
• ユーザーの関与度と意思決定を向上させるために、リアルタイムのバーチャルメイクトライオンプレビューを提供すること。
• 継続的なフィードバックループを統合して、時間の経過とともに推薦を洗練・パーソナライズ化すること。
• 制御されたユーザー研究を通じて、パーソナライズされた、特別な機会に基づく推薦の有効性を評価すること。

提案手法

• システムは、ユーザーのプロファイルを特別な機会（例：結婚式、面接）と肌色に基づいて分類する文脈認識型推薦エンジンを使用している。
• 文化的および美的基準に由来する地域特有のメイクアップテンプレートを適用することで、多様なデモグラフィックにわたって関連性を確保している。
• ユーザーが提供する顔の画像にバーチャルメイクを適用するリアルタイムの画像生成技術が採用されている。
• 各トライオンセッション後にユーザーの評価と好みを収集するフィードバックメカニズムが、ユーザーの埋め込みと推薦モデルの更新に使用されている。
• 協調フィルタリングとディープメトリック学習を組み合わせることで、推薦の正確性とパーソナライズ性を向上させている。
• システムのパフォーマンスをベースラインの推薦アプローチと比較するために、ユーザー研究データが収集されている。

実験結果

リサーチクエスチョン

• RQ1 特別な機会の文脈を統合することで、メイクアップ推薦の関連性はどの程度向上するか？
• RQ2 地域別メイクアップテンプレートは、多様なユーザーのパーソナライズ性をどの程度向上させるか？
• RQ3 リアルタイムのバーチャルトライオンプレビューは、ユーザー満足度と関与度を向上させるか？
• RQ4 継続的なフィードバックは、時間の経過とともに推薦品質をどの程度洗練化するか？
• RQ5 BeautifAI は、既存のシステムと比較して、パーソナライズされたメイクアップ推薦においてどの程度優れているか？

主な発見

• 特別な機会の文脈を統合した結果、研究で報告されたユーザーの関連性が著しく向上した。
• 地域別推薦は、多様な背景の参加者から、より正確で文化的に適切であると認識された。
• リアルタイムのバーチャルトライオンプレビューは、ユーザーの関与度と満足度の向上に寄与した。
• 継続的なフィードバックの統合により、繰り返しの相互作用において推薦の正確性が明確に向上した。
• 特に複雑な、または文脈に特化した状況では、ユーザーが BeautifAI をベースラインシステムよりも好んだ。
• ユーザーは、推薦されたメイクアップの選択に自信を持つようになり、システムのパーソナライズ性能が強く発揮された。