[論文レビュー] DigiFace-1M: 1 Million Digital Face Images for Face Recognition

Gwangbin Bae, Martin de La Gorce+6 more|arXiv (Cornell University)|Oct 5, 2022

Face recognition and analysis被引用数 10

ひとこと要約

本稿では、120万枚の写真のようにリアルなデジタル顔画像をコンピューターグラフィックスパイプラインによって生成した大規模な合成顔データセット、DigiFace-1Mを紹介する。このデータセットは、プライバシー侵害やラベルノイズのない顔認識モデルの訓練を可能にする。ポーズ、アクセサリー、照明などの属性を完全に制御することで、LFWベンチマークで96.17%の精度を達成。GANベースの合成データ手法よりも誤差率を52.5%低減し、わずか12万枚の実データで微調整した場合、数百万枚の実データで訓練されたモデルと同等の性能を示す。

ABSTRACT

State-of-the-art face recognition models show impressive accuracy, achieving over 99.8% on Labeled Faces in the Wild (LFW) dataset. Such models are trained on large-scale datasets that contain millions of real human face images collected from the internet. Web-crawled face images are severely biased (in terms of race, lighting, make-up, etc) and often contain label noise. More importantly, the face images are collected without explicit consent, raising ethical concerns. To avoid such problems, we introduce a large-scale synthetic dataset for face recognition, obtained by rendering digital faces using a computer graphics pipeline. We first demonstrate that aggressive data augmentation can significantly reduce the synthetic-to-real domain gap. Having full control over the rendering pipeline, we also study how each attribute (e.g., variation in facial pose, accessories and textures) affects the accuracy. Compared to SynFace, a recent method trained on GAN-generated synthetic faces, we reduce the error rate on LFW by 52.5% (accuracy from 91.93% to 96.17%). By fine-tuning the network on a smaller number of real face images that could reasonably be obtained with consent, we achieve accuracy that is comparable to the methods trained on millions of real face images.

研究の動機と目的

• 同意なしに収集されたウェブクロールドデータを排除することで、顔認識データセットにおける倫理的懸念に対処すること。
• 現実世界のウェブクロールド顔データセットに内在するデータバイアスとラベルノイズを低減すること。
• スケーラブルな合成顔データセットを構築し、頑健な顔認識モデルの訓練を可能にすること。
• グラフィックスレンダリングされた合成顔が、GANで生成された合成顔と比較して顔認識性能に優れているかどうかを評価すること。
• 少量の実データでの微調整によって、合成データと実データの両方で訓練されたモデルの性能差をどれだけ埋め合わせられるかを実証すること。

提案手法

• 511名の同意を得た顔スキャンから構築したパラメトリックな顔ジオメトリとテクスチャモデルを用いて、多様なアイデンティティを生成する。
• 各アイデンティティは、顔のジオメトリ、テクスチャ、ヘアスタイル、色、厚さ、密度を手続き的に変化させる。
• ポーズ、表情、アクセサリー（メガネ、化粧、帽子）、照明、カメラアングル、環境を制御された変化で画像をレンダリングする。
• 3Dの一貫性を保証し、属性変更に伴うアイデンティティのドリフトを回避するため、グラフィックスパイプラインを用いてデータセットを生成する。
• 合成データと実データのドメインギャップを低減するために、積極的なデータ拡張を適用する。
• 2段階の訓練戦略を採用：合成データでの事前学習の後、少数の実顔画像データで微調整を行う。

実験結果

リサーチクエスチョン

• RQ1 グラフィックスパイプラインで生成された大規模な合成顔データセットは、現実世界のウェブクロールドデータに依存せずに、最先端の顔認識精度を達成できるか？
• RQ2 グラフィックスレンダリングされた合成顔で訓練されたモデルの性能は、GANで生成された合成顔または現実世界のデータセットで訓練されたモデルと比較してどうなるか？
• RQ3 少量の実顔画像での微調整によって、合成データと実データの両方で訓練したモデルの性能差をどの程度埋め合わせられるか？
• RQ4 ポーズ、アクセサリー、照明の制御された変化が、モデルのロバストネスと精度にどのように影響するか？
• RQ5 この合成データセットは、既存の現実世界の顔認識データセットに見られるデータバイアスとラベルノイズの問題を軽減できるか？

主な発見

• 提案されたDigiFace-1Mデータセットは、合成データのみで訓練した場合、LFWベンチマークで96.17%の精度を達成。これは、GANベースの合成手法であるSynFaceが同じベンチマークで達成した91.93%を大きく上回る。
• わずか12万枚の実顔画像（MS1MV2の2%）で微調整したモデルは、LFW、CFP-FP、CPLFWの平均精度がSV-AM-Softmaxを上回り、数百万枚の実データで訓練されたモデルと同等の性能を示す。
• LFWにおける誤差率は、DigiFace-1Mを用いることでSynFaceに比べ52.5%低減され、顔認識においてグラフィックスレンダリングされた合成顔がGANで生成された合成顔を上回ることを示している。
• DigiFace-1Mで訓練されたモデルは、AgeDBとCALFWで顕著な性能差を示しており、これは合成データに年齢変化のモデリングがまだ行われていないことを示しており、依然として主要なドメインギャップである。
• 積極的なデータ拡張と制御された属性変化により、合成データと実データのドメインギャップを効果的に低減でき、少量の実データで高い性能を達成できることが示唆される。
• このデータセットは倫理的に適切であり、プライバシー侵害やウェブクロールドデータに伴う倫理的懸念を避けるために、511件の同意を得たスキャンのみをモデル初期化に使用している。