[論文レビュー] Makeup like a superstar: Deep Localized Makeup Transfer Network

Si Liu, Xinyu Ou+3 more|arXiv (Cornell University)|Apr 25, 2016

Face recognition and analysis参考文献 20被引用数 43

ひとこと要約

本稿では、局所的で化粧品別に最適化され、明度を制御可能な自然な見た目のメイクアップを自動で推薦・転送する深層局所的メイクアップ転送ネットワークを提案する。手法は顔分割ネットワークを用いて部位と化粧品の対応関係を確立し、グローバルスムージング正則化を用いた深層特徴の操作を実行することで、定量的および定性的な評価において最先端の手法を上回る自然な結果を達成した。

ABSTRACT

In this paper, we propose a novel Deep Localized Makeup Transfer Network to automatically recommend the most suitable makeup for a female and synthesis the makeup on her face. Given a before-makeup face, her most suitable makeup is determined automatically. Then, both the beforemakeup and the reference faces are fed into the proposed Deep Transfer Network to generate the after-makeup face. Our end-to-end makeup transfer network have several nice properties including: (1) with complete functions: including foundation, lip gloss, and eye shadow transfer; (2) cosmetic specific: different cosmetics are transferred in different manners; (3) localized: different cosmetics are applied on different facial regions; (4) producing naturally looking results without obvious artifacts; (5) controllable makeup lightness: various results from light makeup to heavy makeup can be generated. Qualitative and quantitative experiments show that our network performs much better than the methods of [Guo and Sim, 2009] and two variants of NerualStyle [Gatys et al., 2015a].

研究の動機と目的

• 視覚的類似性に基づき、与えられた女性の顔に対して適切なメイクアップを自動で推薦するエンドツーエンドのディープラーニングシステムの開発。
• 参照顔からメイクアップ前の顔へ、ファンデーション、アイシャドー、リップグロスの局所的かつ化粧品別に転送する仕組みの実現。
• 目立つアーティファクトがなく、元の顔と自然に融合するメイクアップ結果の生成。
• メイクアップの明度を制御可能にし、薄いメイクから濃いメイクまで連続的な範囲の結果を生成可能にする。
• GuoとSim (2009) や NeuralStyle (Gatysら, 2015a) などの既存手法と比較して、視覚的品質およびユーザーの好みの両面で優れる。

提案手法

• 完全畳み込みネットワークに基づく顔分割ネットワークを用い、メイクアップ前の顔および参照顔の両方のラベルマップを生成し、顔の部位および化粧品関連領域を特定する。
• 事前学習済みの顔認識ネットワークを用いて、ユークリッド距離で測定された深層特徴類似度により、対応する顔領域（例：唇から唇へ）間の部位-化粧品対応関係を確立する。
• アイシャドーは形状を保持するために深層特徴を直接操作し、ファンデーションは内積正則化を用いて肌の質感を滑らかにする。
• リップグロスは局所的特徴変調により、色および光沢の一貫性を維持する。
• メイクアップ後の顔はメイクアップ前の顔として初期化され、グローバルスムージング正則化を用いた確率的勾配降下法により精練され、自然な外観を確保する。
• 各化粧品成分の重みを調整することで、メイクアップ全体の明度を制御可能にし、繊細なメイクからドラマチックなメイクまで連続的な範囲の結果を生成可能にする。

実験結果

リサーチクエスチョン

• RQ1 視覚的類似性に基づき、ディープラーニングベースのシステムが、与えられたメイクアップ前の顔に対して最も適したメイクアップを自動で推薦できるか？
• RQ2 ファンデーション、アイシャドー、リップグロスを、それぞれの視覚的特徴と空間的局所化を保ちつつ、どのように転送できるか？
• RQ3 異なる表情や肌色の顔間で転送を行う場合でも、目立つアーティファクトがなく、自然な見た目の結果を生成できるか？
• RQ4 メイクアップの明度をどの程度制御可能であり、薄いメイクから濃いメイクまでスケールの広い結果を生成できるか？
• RQ5 GuoとSim (2009) や NeuralStyle (Gatys ら, 2015a) などの既存の最先端手法と比較して、定量的および定性的に本手法はどの程度優れているか？

主な発見

• 本手法は GuoとSim (2009) よりも顕著に高いユーザー満足度を達成し、ユーザー比較において9.7%が「はるかに良い」と評価され、55.9%が「良い」と評価された。
• NeuralStyle-CC や NeuralStyle-CS と比較して、それぞれ82.7%および82.8%のケースで「はるかに良い」と評価され、逆に「はるかに悪い」との評価は一切なかった。
• 本手法は、色および形状の忠実度を高く保ちながらアイシャドーとリップグロスを正確に転送でき、GuoとSim (2009) で見られた過剰な明るさの問題を回避した。
• グローバル転送手法であるNeuralStyleが歪みやテクスチャ不一致を抱えるのに対し、本手法は局所的転送により最小限のアーティファクトを生じさせた。
• 局所的設計のおかげで、笑顔の顔においても歯に影響を与えることなくリップグロスを適切に転送できた。
• ネットワークにより、同じ参照顔を用いても、繊細なメイクからドラマチックなメイクまで連続的に制御可能な明度の結果を生成可能となった。