[论文解读] Second Edition FRCSyn Challenge at CVPR 2024: Face Recognition Challenge in the Era of Synthetic Data

Ivan DeAndres-Tame, Rubén Tolosana+56 more|arXiv (Cornell University)|Apr 16, 2024

COVID-19 diagnosis using AI被引用 4

一句话总结

本文介绍了在CVPR 2024上举办的FRCSyn挑战赛第二版，评估了仅使用合成数据或结合真实数据训练的人脸识别系统，采用新型生成模型进行训练。结果表明，仅使用无限量合成数据即可超越仅使用真实数据训练的模型，在无约束设置下顶尖团队的Top-1准确率达到96.73%。

ABSTRACT

Synthetic data is gaining increasing relevance for training machine learning models. This is mainly motivated due to several factors such as the lack of real data and intra-class variability, time and errors produced in manual labeling, and in some cases privacy concerns, among others. This paper presents an overview of the 2nd edition of the Face Recognition Challenge in the Era of Synthetic Data (FRCSyn) organized at CVPR 2024. FRCSyn aims to investigate the use of synthetic data in face recognition to address current technological limitations, including data privacy concerns, demographic biases, generalization to novel scenarios, and performance constraints in challenging situations such as aging, pose variations, and occlusions. Unlike the 1st edition, in which synthetic data from DCFace and GANDiffFace methods was only allowed to train face recognition systems, in this 2nd edition we propose new sub-tasks that allow participants to explore novel face generative methods. The outcomes of the 2nd FRCSyn Challenge, along with the proposed experimental protocol and benchmarking contribute significantly to the application of synthetic data to face recognition.

研究动机与目标

• 探討合成資料在提升跨多個人口統計群體與挑戰性條件下人臉辨識效能方面的有效性。
• 解決真實世界人臉辨識中的限制，包括人口統計偏差、隱私問題，以及對老化、姿態與遮蔽的魯棒性。
• 允許參與者使用超越DCFace與GANDiffFace的新型生成模型，促進合成資料生成技術的創新。
• 評估合成資料數量與品質對模型泛化能力與在受限與無受限訓練情境下效能的影響。
• 將合成資料訓練方法與真實資料訓練及混合訓練進行基準比較，識別適用於實際部署的最佳策略。

提出的方法

• 提出兩項主要任務：任務1評估模型在受限與無受限合成資料上的表現，任務2評估在不同資料可用性條件下於真實世界基準上的泛化能力。
• 允許參與者使用其自選的生成框架生成合成資料進行模型訓練，提升方法上的自由度。
• 使用標準的人臉辨識主幹網絡，如ResNet與IResNet，損失函數包括ArcFace、AdaFace、CosFace與UniFace。
• 整合資料整理技術，如合成資料清洗與選擇，部分團隊如CTAI與CBSR-Samsung採用先進的過濾策略。
• 使用StyleGAN2與基於擴散模型的技術（如Hourglass Diffusion Transformer與StyleNAT）進行動態影像生成，以產生高保真度的合成資料。
• 在標準資料集（包括BUPT-BalancedFace、AgeDB、CFP-FP與ROF）上進行基準測試，以Top-1準確率與GAP（泛化準確率懲罰）作為關鍵指標。

实验结果

研究问题

• RQ1 僅使用無限量合成資料訓練的人臉辨識系統，是否能在無受限情境下超越僅使用真實資料訓練的系統？
• RQ2 在人口統計偏差與挑戰性條件下，使用合成資料與真實資料訓練的人臉辨識模型表現有何差異？
• RQ3 合成資料在多大程度上能減輕人口統計偏差，並提升人臉辨識系統的泛化能力？
• RQ4 哪些最有效的生成模型與訓練策略可用於產生高品質、能良好泛化至真實世界評估集的合成資料？
• RQ5 將合成資料與真實資料結合使用，相較於單獨使用任一類資料，對模型表現有何影響？

主要发现

• ID R&D團隊在子任務1.2（無受限合成資料）中達成96.73%的Top-1準確率，超越僅使用真實資料訓練的模型，展現無限量合成資料的潛力。
• 在子任務2.2中，當合成資料為無限量時，Idiap-SynthDistill團隊達成93.50%的平均準確率與-0.05%的負GAP，顯示其在有限真實資料上的泛化能力更優異。
• K-IBS-DS團隊在子任務2.3（合成資料+真實資料）中達成95.42%的平均準確率與-2.15%的GAP，顯示混合訓練可有效克服性能限制。
• 表現最佳的團隊主要採用成熟架構（ResNet/IResNet）與損失函數（ArcFace、AdaFace），僅少數團隊採用較新的方法如UniFace或CosFace。
• 來自新型模型（如Hourglass Diffusion Transformer與StyleNAT）的合成資料顯著提升表現，顯示先進生成技術的價值。
• 儘管表現強勁，大多數團隊在子任務2.1（僅合成資料）中仍報告正GAP值，顯示僅使用合成資料在泛化能力上仍難以完全取代真實資料。