[論文レビュー] Smart Mirror: Intelligent Makeup Recommendation and Synthesis

Tam Nguyen, Luoqi Liu|arXiv (Cornell University)|Sep 22, 2017

Face recognition and analysis参考文献 7被引用数 7

ひとこと要約

本論文では、顔の特徴と化粧属性を結びつける学習モデルを用いて、パーソナライズされた化粧品の推薦と現実的な化粧の合成を可能にするスマートミラーシステムを提示する。顔のランドマーク検出、領域別カラーのモデリング、エッジを保持するフィルタリングを組み合わせることで、入力された顔画像に自然でユーザーに合わせた化粧効果を生成し、オンラインおよび店頭でのビューティー商品のショッピング体験における実用的ソリューションを示している。

ABSTRACT

The female facial image beautification usually requires professional editing softwares, which are relatively difficult for common users. In this demo, we introduce a practical system for automatic and personalized facial makeup recommendation and synthesis. First, a model describing the relations among facial features, facial attributes and makeup attributes is learned as the makeup recommendation model for suggesting the most suitable makeup attributes. Then the recommended makeup attributes are seamlessly synthesized onto the input facial image.

研究の動機と目的

• オンライン化粧品ショッピングにおけるパーソナライズされた化粧品の推薦と効果の可視化の不足に対処すること。
• 個々の顔の特徴と属性に基づいて適切な化粧品を推薦するシステムを開発すること。
• 領域別処理を用いて、顔の画像に現実的で滑らかな化粧効果を合成すること。
• 顔の化粧研究のための公開可能なデータセット（BMD）を作成すること。
• 実世界の状況において、化粧品の推薦と合成を実用的で使いやすい形で実装すること。

提案手法

• プロフェッショナルおよびソーシャルメディアのソースから収集・キュレーションしたビューティー化粧データセット（BMD）を用い、正面姿で高精度な検出が可能な500枚の高品質で化粧アノテーションが付与された顔画像を保持した。
• 商用の顔検出器を用いて87個の顔のキーポintsを抽出し、一貫性のある領域別分析のための顔のアライメントを実施した。
• 化粧に依存しない顔の特徴と属性を設計し、化粧とは無関係な顔の内在的特徴を表現した。
• BMDデータセット上で潜在SVMモデルを学習させ、顔の特徴・属性とそれに応じた化粧効果のマッピングを学習し、パーソナライズされた推薦を実現した。
• アイシャドウのテンプレート抽出にスペクトルマッティングを適用し、色クラスタリングを用いて顔の各領域におけるファンデーション、アイシャドウ、リップカラーのモデリングを行った。
• エッジを保持するフィルタリングと領域別カラーのブレンドを用いて、顔の構造とテクスチャを保ちながら、ターゲットの顔に滑らかに化粧効果を合成した。

実験結果

リサーチクエスチョン

• RQ1 顔の特徴と属性をどのように活用してパーソナライズされた化粧品の推薦を予測できるか？
• RQ2 個々の化粧成分（例：ファンデーション、アイシャドウ、リップカラー）を新しい顔に効果的にモデリング・トランスファーする最適な方法は何か？
• RQ3 統合されたシステムがインテリジェントな推薦と現実的な合成を組み合わせることで、実用的なビューティー応用を実現できるか？
• RQ4 研究用途に適した大規模かつ高品質な顔の化粧データセットをどのように構築できるか？
• RQ5 グローバル画像変換なしに、学習ベースのアプローチがどれほど自然な見た目の化粧効果を生成できるか？

主な発見

• 潜在SVMモデルをBMDデータセット上で学習させることで、顔の特徴と化粧属性の間のマッピングを効果的に学習した。
• 特にアイシャドウにはスペクトルマッティング、ファンデーションとリップカラーには色クラスタリングを用いた領域別処理により、正確で局所的な化粧モデリングが可能になった。
• エッジを保持するフィルタリングにより、ファンデーションの物理的外観が効果的に再現され、滑らかで自然な肌色の移行が実現した。
• 合成された化粧効果は視覚的に現実的で、顔の領域に自然に統合されており、システムのユーザーインターフェースおよび動画デモで確認された。
• 最終的なBMDデータセットは、500枚の高品質でアノテーションが付与された顔画像から構成され、今後のパーソナライズされた化粧品の推薦と合成に関する研究のための貴重なベンチマークを提供する。
• システムは、推薦と可視化を統合した使いやすいインターフェースを備えており、オンラインおよび店頭での化粧品ショッピングにおいて実用的であることが示された。