[논문 리뷰] SDFR: Synthetic Data for Face Recognition Competition

Hatef Otroshi Shahreza, Christophe Ecabert외 26명|arXiv (Cornell University)|2024. 04. 06.

Face recognition and analysis인용 수 7

한 줄 요약

논문은 합성 데이터를 사용하여 얼굴 인식 모델을 평가하는 SDFR 대회를 요약하고, 제약이 다양한 두 작업에서의 결과, 편향 및 향후 방향을 분석한다.

ABSTRACT

Large-scale face recognition datasets are collected by crawling the Internet and without individuals' consent, raising legal, ethical, and privacy concerns. With the recent advances in generative models, recently several works proposed generating synthetic face recognition datasets to mitigate concerns in web-crawled face recognition datasets. This paper presents the summary of the Synthetic Data for Face Recognition (SDFR) Competition held in conjunction with the 18th IEEE International Conference on Automatic Face and Gesture Recognition (FG 2024) and established to investigate the use of synthetic data for training face recognition models. The SDFR competition was split into two tasks, allowing participants to train face recognition systems using new synthetic datasets and/or existing ones. In the first task, the face recognition backbone was fixed and the dataset size was limited, while the second task provided almost complete freedom on the model backbone, the dataset, and the training pipeline. The submitted models were trained on existing and also new synthetic datasets and used clever methods to improve training with synthetic data. The submissions were evaluated and ranked on a diverse set of seven benchmarking datasets. The paper gives an overview of the submitted face recognition models and reports achieved performance compared to baseline models trained on real and synthetic datasets. Furthermore, the evaluation of submissions is extended to bias assessment across different demography groups. Lastly, an outlook on the current state of the research in training face recognition models using synthetic data is presented, and existing problems as well as potential future directions are also discussed.

연구 동기 및 목표

• 웹 크롤링 얼굴 데이터셋의 법적·윤리적 문제로 인한 프라이버시 친화적 대안을 제시한다.
• 합성 데이터가 제약된 설정 및 비제약 설정에서 경쟁력 있는 얼굴 인식 모델을 학습시키는지 평가한다.
• 합성 데이터를 사용할 때 인구통계학적 그룹 간의 편향과 공정성을 평가한다.
• 합성 데이터 기반 얼굴 인식 연구를 개선하기 위한 통찰과 권고를 제공한다.

제안 방법

• 두 가지 작업: 작업 1은 고정 백본(iResNet-50) 및 최대 100만 개의 합성 이미지로 진행; 작업 2는 비제약 백본 및 데이터로, 합성 데이터만으로 학습된다.
• 참가자는 기존 합성 데이터셋(예: IDiff-Face, DigiFace) 사용 또는 새 데이터셋 생성 가능하며, 제너레이터 학습을 위한 신원 라벨링 웹 데이터 제외 규칙 하에 진행된다.
• 제출된 모델은 ONNX 형식으로 seven 벤치마킹 데이터셋(LFW, CFP-FP, CPLFW, AgeDB-30, CALFW, IJB-B, IJB-C)에서 평가되었다.
• 각 데이터세트별 순위를 기반으로 보드라(Borda) 합계 방식을 사용해 최종 순위를 산출했다.
• 데이터 증강, 손실 함수(AdaFace, ArcFace, ArcFace류), 합성-실제 차이를 다리놓는 자세/품질 증강이 성능 향상의 핵심이었다.

Figure 1 : Sample original and augmented face images from the IDiff-Face (Uniform) dataset obtained by synthetically rotating face pose in the yaw axis used by the BOVIFOCR-UFPR team in task 2.

실험 결과

연구 질문

• RQ1 제약된/비제약 설정에서 합성 얼굴 데이터셋이 실제 데이터 학습 성능에 비견될 수 있는가?
• RQ2 다양한 합성 데이터 소스(IDiff-Face, DigiFace, StyleGAN2/3 등)를 활용한 학습의 이점과 한계는 무엇인가?
• RQ3 합성 데이터 학습이 인종/민족과 같은 인구통계학적 그룹 간 편향에 미치는 영향은 실제 데이터 기준과 비교해 어떤가?
• RQ4 합성-실제 격차를 해소하는 데 가장 효과적인 데이터 증강 및 데이터셋 큐레이션 전략은 무엇인가?

주요 결과

작업 / 데이터세트	방법 / 팀	이미지 수	LFW	CALFW	CPLFW	AgeDB30	CFP-FP	IJB-B	IJB-C	순위
Task 1 Baselines	MS-Celeb (실제)	5.8M	99.82	95.92	92.52	97.62	96.01	94.88	96.23	-
Task 1 Baselines	WebFace-4M (실제)	4M	99.78	96.02	93.90	97.52	97.19	95.52	97.02	-
Task 1 Baselines	DigiFace (합성)	1.2M	90.63	74.02	71.38	65.03	78.11	38.89	45.09	-
Task 1 Leaderboard	BioLab	500K	96.97	89.12	76.80	83.77	77.34	60.21	63.56	4
Task 1 Leaderboard	BOVIFOCR-UFPR	500K	97.53	89.38	80.07	83.90	84.37	12.70	13.71	3
Task 2 Leaderboard	BioLab	1.7M	98.33	90.87	84.45	87.85	88.11	76.94	81.25	1

• 합성 데이터로 학습된 제출 모델이 합성 데이터만 사용한 기준선보다 성능이 향상되었지만, 특히 도전적인 IJB-B 및 IJB-C에서 실제 웹 크롤링 데이터와의 격차가 여전히 남아 있다.
• BioLab Task 2 제출은 DigiFace 및 IDiff-Face 합성 데이터셋을 결합해 표준 벤치마크와 도전적인 벤치마크 모두에서 강한 성능을 보였다.
• Task 2 제출 수가 적었는데, 이는 비제약 합성 데이터 학습이 허용될 때 더 큰 난이도가 있음을 시사한다.
• RFW 기반 편향 분석에서 모든 제출에서 백인 계통에서 가장 좋은 성능, 아프리카 계통에서 약한 성능이 관찰되어 합성 데이터 학습의 편향을 강조했다.
• 자세한 증강 및 데이터 생성 전략(자세 변이, 품질 기반 선택, 다양한 합성 소스의 혼합) 사용이 합성-실제 격차를 줄이는 데 중요하다.