[論文レビュー] On Face Segmentation, Face Swapping, and Face Perception

Yuval Nirkin, Iacopo Masi+3 more|arXiv (Cornell University)|Apr 22, 2017

Face recognition and analysis参考文献 42被引用数 13

ひとこと要約

本論文では、豊富に拡張された顔セグメンテーションデータセットで訓練された標準的な完全畳み込みネットワーク（FCN）を用いた頑健な顔交換手法を提示する。顔交換の内因性（同一被験者間）では識別認識精度が保持される（97.12%の正答率、99.53%のnAUC）、一方、外因性（異被験者間）では認識性能が低下する。これは、機械視覚分野で初めて定量的に知覚理論を検証した結果である。

ABSTRACT

We show that even when face images are unconstrained and arbitrarily paired, face swapping between them is actually quite simple. To this end, we make the following contributions. (a) Instead of tailoring systems for face segmentation, as others previously proposed, we show that a standard fully convolutional network (FCN) can achieve remarkably fast and accurate segmentations, provided that it is trained on a rich enough example set. For this purpose, we describe novel data collection and generation routines which provide challenging segmented face examples. (b) We use our segmentations to enable robust face swapping under unprecedented conditions. (c) Unlike previous work, our swapping is robust enough to allow for extensive quantitative tests. To this end, we use the Labeled Faces in the Wild (LFW) benchmark and measure the effect of intra- and inter-subject face swapping on recognition. We show that our intra-subject swapped faces remain as recognizable as their sources, testifying to the effectiveness of our method. In line with well known perceptual studies, we show that better face swapping produces less recognizable inter-subject results. This is the first time this effect was quantitatively demonstrated for machine vision systems.

研究の動機と目的

• 制約のない任意の画像ペアに対して適用可能な頑健で汎用的な顔交換パイプラインの開発。
• 豊富で多様なデータで訓練された場合、標準的なFCNが特化型セグメンテーションモデルを上回ることの証明。
• 顔交換が機械による顔認識に与える影響、特に同一被験者間と異被験者間の交換における定量的評価。
• より良いブレンドが識別性を低下させるという知覚現象が、機械視覚ベンチマークで定量的に観察可能かどうかの検証。
• 広範な定量的評価プロトコルを備えた再現可能でオープンソースの顔交換パイプラインの提供。

提案手法

• 動きの手がかりと3次元データ拡張を用いた半教師ありラベル付けアプローチにより、多様な顔セグメンテーションマスクの大量データセットを生成。
• この豊富なデータセットで標準的な完全畳み込みネットワーク（FCN）を訓練し、ピクセル単位の顔セグメンテーションを高速かつ正確に実行。
• 向上したセグメンテーションと頑健なアライメント・ブレンドを統合した顔交換パイプラインを構築。推定または一般的な3次元顔形状を用いてリアルリズムを向上。
• 制約のない画像、特に極端な視点や表情の変化を伴う画像に対しても顔交換を実行。入力ペアに事前の制御は不要。
• LFWベンチマークを用いた定量的評価を実施。同一被験者間交換（同一アイデンティティ）と異被験者間交換（異なるアイデンティティ）の2つのプロトコルを用意。
• 100%-EER、正答率、nAUCを用いて顔認識性能を測定し、交換がアイデンティティ保持に与える影響を評価。

実験結果

リサーチクエスチョン

• RQ1 豊富で多様な顔セグメンテーションデータセットで訓練された標準的なFCNは、最先端の精度と速度を達成できるか？
• RQ2 制約のない任意のペアで交換された画像において、顔認識性能で測定した場合、被験者アイデンティティが保持されるか？
• RQ3 顔交換におけるブレンドの向上が、元の顔の識別性をどの程度低下させるか、そしてその影響を定量的に測定可能か？
• RQ4 推定された3次元顔形状は、一般的な形状または3次元モデリングなしのものと比較して、ブレンド品質と認識への影響でどのように差がでるか？
• RQ5 より良いブレンドが識別性を低下させるという知覚現象が、機械視覚システムでも定量的に観察可能か？

主な発見

• 提案されたFCNベースのセグメンテーション手法は、豊富なトレーニングデータのおかげで、特化型モデルを上回る最先端の精度と速度を達成した。
• 同一被験者間の顔交換では、認識正答率がわずか1%低下するのみ（97.12% vs. ベースライン98.12%）、アイデンティティ歪みが最小限であることを示した。
• 異被験者間の顔交換では認識性能が著しく低下し、100%-EERが64.58%に低下（ベースライン98.10%）、より良いブレンドによる識別性の低下を確認した。
• 推定された3次元顔形状の使用によりブレンド品質が向上し、異被験者間交換では100%-EERが73.17%に低下し、アイデンティティの隠蔽効果が強化された。
• 本手法により、機械視覚分野で初めて大規模かつ定量的なClinton–Gore錯覚の検証が可能になった。より良い顔交換は顔の識別性を低下させることを示した。
• 交換後も文脈特徴が有用であることが示された。文脈を保持するプロトコルでは高い認識正答率を示し、文脈と顔の両方がアイデンティティ認識に寄与していることを裏付けた。