[論文レビュー] Anti-Makeup: Learning A Bi-Level Adversarial Network for Makeup-Invariant Face Verification

Yi Li, Lingxiao Song+3 more|arXiv (Cornell University)|Sep 12, 2017

Face recognition and analysis参考文献 21被引用数 10

ひとこと要約

本論文は、化粧画像から写真のようにリアルな非化粧顔画像を生成することで、化粧に依存しない顔認識を実現する二段階敵対的ネットワーク（BLAN）を提案する。ピクセルレベルおよび特徴量レベルの二重敵対的損失を用いて、顔の同一性を保持するとともに化粧の影響を除去する。本手法は3つのベンチマークデータセットで最先端の認証精度を達成し、優れた性能とリアルな画像合成を示している。

ABSTRACT

Makeup is widely used to improve facial attractiveness and is well accepted by the public. However, different makeup styles will result in significant facial appearance changes. It remains a challenging problem to match makeup and non-makeup face images. This paper proposes a learning from generation approach for makeup-invariant face verification by introducing a bi-level adversarial network (BLAN). To alleviate the negative effects from makeup, we first generate non-makeup images from makeup ones, and then use the synthesized non-makeup images for further verification. Two adversarial networks in BLAN are integrated in an end-to-end deep network, with the one on pixel level for reconstructing appealing facial images and the other on feature level for preserving identity information. These two networks jointly reduce the sensing gap between makeup and non-makeup images. Moreover, we make the generator well constrained by incorporating multiple perceptual losses. Experimental results on three benchmark makeup face datasets demonstrate that our method achieves state-of-the-art verification accuracy across makeup status and can produce photo-realistic non-makeup face images.

研究の動機と目的

• 化粧による顔の外見の変化が顕著な状況下での顔認識の課題に対処すること。
• 顔認識の耐障害性を向上させるために、化粧画像から非化粧顔を合成する学習フレームワークを構築すること。
• 化粧除去の過程で顔の同一性情報を保持しつつ、知覚的にリアルな画像を生成すること。
• ピクセルレベルおよび特徴量レベルの二重敵対的学習を統合し、化粧あり顔と非化粧あり顔の間の認識ギャップを低減すること。
• 画像の忠実度および同一性保持の向上を図るため、複数の知覚的損失（エッジ、対称性、同一性）を生成器に制約すること。

提案手法

• フレームワークは、二段階敵対的学習方式を用いて、化粧あり顔画像を非化粧あり顔画像にマッピングする生成器ネットワークを採用する。
• ピクセルレベルの識別器は、実際の非化粧画像と生成画像を区別し、写真的リアリズムの高い画像品質を促進する。
• 特徴量レベルの識別器は、生成画像の深層特徴量が実際の非化粧画像の特徴量と一致することを保証し、顔の同一性情報を維持する。
• 生成器は、L1損失、エッジ損失（L_edg）、対称性損失（L_sym）、および一貫性損失（L_cons-f）の複数の再構成損失を用いて訓練される。これにより、構造的忠実度が維持される。
• 特徴量レベルの敵対的損失（L_Df）は、認識バックボーンの特徴空間に適用され、生成過程での同一性保持を強化する。
• 全ネットワークはエンドツーエンドで訓練され、画像生成と認証性能の両方を同時に最適化する。

実験結果

リサーチクエスチョン

• RQ1 生成フレームワークは、化粧の変化によって生じる顔認識性能のギャップを効果的に低減できるか？
• RQ2 化粧あり顔画像から非化粧顔画像を合成する過程で、顔の同一性情報はどのように保持されるか？
• RQ3 ピクセルレベルおよび特徴量レベルの二重敵対的学習は、画像のリアリズムと認証精度の両方をどのように向上させるか？
• RQ4 複数の知覚的損失（エッジ、対称性、同一性一貫性）は、生成された非化粧顔画像の品質と忠実度にどのような影響を及えるか？
• RQ5 化粧データセットのサイズと多様性が限られている場合、モデルの一般化性能および性能にどの程度の影響を与えるか？

主な発見

• BLANは、データセット1においてランク1認証精度94.8%を達成し、すべてのアブレーションバリアントを上回り、最先端の性能を確立した。
• 特徴量レベルの敵対的損失（L_Df）を削除すると、精度が最も大きく低下し（89.6%に）、顔の同一性保持においてその重要性が顕著に示された。
• 一貫性損失（L_cons-f）が欠落すると、精度が著しく18.3%低下（76.5%に）し、顔の同一性の一貫性維持におけるその重要性が確認された。
• エッジ損失および対称性損失は、生成画像の品質向上に寄与し、不自然なアーティファクトの低減に効果的であった。
• モデルは写真のようにリアルな非化粧顔を生成したが、L1損失および限られた学習データの影響でぼんやりとした部分が残存していた。
• FAMにおける男性被験者では、学習サンプルが少なく、化粧ありから非化粧ありへの外見的変化の幅が狭いため、性能が低かった。