[論文レビュー] Do We Really Need to Collect Millions of Faces for Effective Face Recognition?

Iacopo Masi, Anh Tran+3 more|arXiv (Cornell University)|Mar 23, 2016

Face recognition and analysis参考文献 32被引用数 71

ひとこと要約

本稿では、既存の顔データセットを用いて、ポーズ、形状、表情の多様な顔の変異を合成することで、数百万枚の実際の画像を収集する必要をなくす分野特化型のデータ拡張手法を提案する。合成された拡張データで訓練することで、LFW、IJB-A、CS2ベンチマークで最先端の顔認識性能を達成し、2000万枚の実際の画像で訓練されたモデルと同等の性能を、わずか495,000枚のオリジナル画像で達成する。

ABSTRACT

Face recognition capabilities have recently made extraordinary leaps. Though this progress is at least partially due to ballooning training set sizes -- huge numbers of face images downloaded and labeled for identity -- it is not clear if the formidable task of collecting so many images is truly necessary. We propose a far more accessible means of increasing training data sizes for face recognition systems. Rather than manually harvesting and labeling more faces, we simply synthesize them. We describe novel methods of enriching an existing dataset with important facial appearance variations by manipulating the faces it contains. We further apply this synthesis approach when matching query images represented using a standard convolutional neural network. The effect of training and testing with synthesized images is extensively tested on the LFW and IJB-A (verification and identification) benchmarks and Janus CS2. The performances obtained by our approach match state of the art results reported by systems trained on millions of downloaded images.

研究の動機と目的

• 高精度な顔認識のためには、数百万枚の実際の顔画像を収集することが本当に必要なのかを調査すること。
• トレーニングデータに十分なクラス内顔の変異（例：ポーズ、表情、形状）を確保する課題に対処すること。
• 既存のデータセットからリアルな顔の変異を生成する分野特化型のデータ拡張手法を提案すること。
• テスト時にも同じ合成手法を適用するマッチングパイプラインを開発し、ポーズに跨る強靭な認識を可能にすること。
• 合成データが、大規模な実世界データセットで訓練されたモデルと同等またはそれを上回る性能を達成できることを実証すること。

提案手法

• 著者らは、CASIA WebFaceデータセット（495,000枚の画像）を、分野特化型の画像操作技術を用いて、ポーズ、顔の形状、表情の制御された変異を加えることで拡張する。
• ポーズの変異は、3次元モーファブルモデルに基づく変換を既存の画像に適用することで生成され、異なる頭部の角度を模倣する。
• 顔の形状の変異は、3次元顔モデルのアイデンティティ固有の成分を変更することで導入され、被験者のアイデンティティを保持しながら形状を変更する。
• 表情の変異は、顔のランドマークを変形させることで、笑顔、怒り顔などの表情を模倣するが、アイデンティティを変更しない。
• 新規のテスト時マッチングパイプラインは、照合画像に対しても同じ合成手法を適用し、ポーズや表情の変化に対して強靭な認識を可能にする。
• 本手法は、拡張済みデータセット上で1つのCNNを訓練し、標準ベンチマーク（LFW、IJB-A（認証および識別）、Janus CS2）で性能を評価する。

実験結果

リサーチクエスチョン

• RQ1 合成データ拡張によって、深層顔認識モデルのトレーニングにおける数百万枚の実際の顔画像の収集を回避できるか？
• RQ2 分野特化型のデータ拡張は、ウェブスクリーピングでは得にくいクラス内顔の変異を効果的に捉えられるか？
• RQ3 少数の拡張済みデータセットで訓練された顔認識システムは、大規模な実データセットで訓練された最先端モデルと同等の性能を達成できるか？
• RQ4 テスト時の合成によって、推論時におけるポーズや表情の変化に対する耐性がどのように向上するか？
• RQ5 合成された変異の種別（ポーズ、形状、表情）が、全体の認識精度に与える相対的寄与度はどの程度か？

主な発見

• ポーズ、形状、表情の合成を加えた場合、LFW認証ベンチマークにおける100% - EERが98.00%に達し、数百万枚の実際の画像で訓練されたモデルと同等またはそれを上回る性能を達成する。
• 495,000枚のオリジナル画像に加え247万枚の合成画像を使用して訓練した結果、LFWで98.06%の精度を達成し、260万枚の実際の画像で訓練されたVGG-Face（97.35%精度）を上回り、FaceNetの99.63%精度に近づく。
• アブレーションスタディの結果、ポーズ変異の追加のみで精度が95.31%から97.01%に向上し、さらに形状と表情の変異を追加することで98.06%にまで上昇する。
• DeepFace（97.35%精度）とFusion（98.37%精度）を上回る性能を達成しているが、実データの使用量は著しく少ない。
• FaceNet（99.63%精度）のようなトップモデルとの性能差は最小限であり、合成データが大規模データ収集の代替として効果的に機能できることを示唆している。
• 結果として、分野特化型のデータ拡張は、数百万枚の実際の画像を収集・ラベル付けするのと比べて、よりアクセス可能で効率的な代替手段であることが示された。