[論文レビュー] SDFR: Synthetic Data for Face Recognition Competition

Hatef Otroshi Shahreza, Christophe Ecabert+26 more|arXiv (Cornell University)|Apr 6, 2024

Face recognition and analysis被引用数 7

ひとこと要約

本論文は、合成データを用いて顔認識モデルの学習を評価するSDFRコンペティションを要約し、制約の異なる2つのタスクに跨って、結果・バイアス・今後の方向性を分析している。

ABSTRACT

Large-scale face recognition datasets are collected by crawling the Internet and without individuals' consent, raising legal, ethical, and privacy concerns. With the recent advances in generative models, recently several works proposed generating synthetic face recognition datasets to mitigate concerns in web-crawled face recognition datasets. This paper presents the summary of the Synthetic Data for Face Recognition (SDFR) Competition held in conjunction with the 18th IEEE International Conference on Automatic Face and Gesture Recognition (FG 2024) and established to investigate the use of synthetic data for training face recognition models. The SDFR competition was split into two tasks, allowing participants to train face recognition systems using new synthetic datasets and/or existing ones. In the first task, the face recognition backbone was fixed and the dataset size was limited, while the second task provided almost complete freedom on the model backbone, the dataset, and the training pipeline. The submitted models were trained on existing and also new synthetic datasets and used clever methods to improve training with synthetic data. The submissions were evaluated and ranked on a diverse set of seven benchmarking datasets. The paper gives an overview of the submitted face recognition models and reports achieved performance compared to baseline models trained on real and synthetic datasets. Furthermore, the evaluation of submissions is extended to bias assessment across different demography groups. Lastly, an outlook on the current state of the research in training face recognition models using synthetic data is presented, and existing problems as well as potential future directions are also discussed.

研究の動機と目的

• 法的・倫理的懸念から、ウェブ収集画像データセットよりもプライバシーに配慮した代替手段を推進する。
• 制約あり/なしの設定の下で、合成データが競争力のある顔認識モデルの学習にどのように寄与できるかを評価する。
• 合成データを使用した場合の、人口統計的グループ間のバイアスと公平性を評価する。
• 合成データベースの顔認識研究を改善するための洞察と推奨事項を提供する。

提案手法

• 2つのタスク: タスク1は固定バックボーン（iResNet-50）と最大100万枚の合成画像、タスク2は制約なしのバックボーンとデータで、合成データのみで学習。
• 参加者は既存の合成データセット（例：IDiff-Face、DigiFace）を使用するか、新しいデータを生成でき、ジェネレータの学習には同一性ラベル付きのウェブデータを除外する規則の下で行われる。
• ONNXで提出されたモデルは7つのベンチマークデータセットで評価された（LFW、CFP-FP、CPLFW、AgeDB-30、CALFW、IJB-B、IJB-C）。
• 評価は各データセットごとのランキングをボルダ法で行い、最終順位を作成した。
• データ拡張、損失関数（AdaFace, ArcFace, ArcFace風）、ポーズ/品質拡張を用いて合成データと実データのギャップを埋めることが性能向上の鍵だった。

Figure 1 : Sample original and augmented face images from the IDiff-Face (Uniform) dataset obtained by synthetically rotating face pose in the yaw axis used by the BOVIFOCR-UFPR team in task 2.

実験結果

リサーチクエスチョン

• RQ1 制約あり/なしの設定の下で、合成顔データセットが実データの学習パフォーマンスに匹敵できるか。
• RQ2 複数の合成データソース（例：IDiff-Face、DigiFace、StyleGAN2/3）を用いた学習の利点と限界は何か。
• RQ3 合成データ学習は、実データの基準と比較して、人口統計グループ（人種、民族性）間のバイアスにどのように影響するか。
• RQ4 合成データと実データのパフォーマンス差を最も効果的に縮めるためのデータ拡張とデータセット選定戦略は何か。

主な発見

Task / Dataset	Method / Team	No. Images	LFW	CALFW	CPLFW	AgeDB30	CFP-FP	IJB-B	IJB-C	Rank
Task 1 Baselines	MS-Celeb (real)	5.8M	99.82	95.92	92.52	97.62	96.01	94.88	96.23	-
Task 1 Baselines	WebFace-4M (real)	4M	99.78	96.02	93.90	97.52	97.19	95.52	97.02	-
Task 1 Baselines	DigiFace (synthetic)	1.2M	90.63	74.02	71.38	65.03	78.11	38.89	45.09	-
Task 1 Leaderboard	BioLab	500K	96.97	89.12	76.80	83.77	77.34	60.21	63.56	4
Task 1 Leaderboard	BOVIFOCR-UFPR	500K	97.53	89.38	80.07	83.90	84.37	12.70	13.71	3
Task 2 Leaderboard	BioLab	1.7M	98.33	90.87	84.45	87.85	88.11	76.94	81.25	1

• 合成データで学習した提出モデルは、合成データのみを用いたベースラインより改善を示したが、特に難易度の高いIJB-BおよびIJB-Cでは実ウェブ収集データセットと比較してギャップが残った。
• BioLabのタスク2提出は、DigiFaceとIDiff-Faceの合成データセットを組み合わせることで、標準ベンチマークと難易度の高いベンチマークの両方で高い性能を達成した。
• タスク2の提出は少なく、制約のない合成データ学習を許容した場合の難易度の高さを示している。
• RFWベースのバイアス分析では、すべての提出でコーカサス系グループが最も良い性能を示し、アフリカ系グループはより低い性能となっており、合成データ学習におけるバイアスが浮き彫りになった。
• 姿勢変化や品質に基づく選択、混合した合成ソースなど、さまざまな拡張とデータ生成戦略の利用は、合成データと実データのギャップを埋める上で重要である。