[논문 리뷰] Second Edition FRCSyn Challenge at CVPR 2024: Face Recognition Challenge in the Era of Synthetic Data

Ivan DeAndres-Tame, Rubén Tolosana외 56명|arXiv (Cornell University)|2024. 04. 16.

COVID-19 diagnosis using AI인용 수 4

한 줄 요약

이 논문은 CVPR 2024에서 열린 FRCSyn 챌린지의 제2판을 제시하며, 기존에 실재 데이터만 또는 실재 데이터와 결합된 합성 데이터로 훈련된 얼굴 인식 시스템을 평가한다. 새로운 생성 모델을 활용하여 실시된 평가에서, 무제한의 합성 데이터만으로도 실재 데이터 전용 훈련을 능가하는 성능을 기록하였으며, 최상위 팀들은 비제약 조건 환경에서 96.73%의 top-1 정확도를 달성하였다.

ABSTRACT

Synthetic data is gaining increasing relevance for training machine learning models. This is mainly motivated due to several factors such as the lack of real data and intra-class variability, time and errors produced in manual labeling, and in some cases privacy concerns, among others. This paper presents an overview of the 2nd edition of the Face Recognition Challenge in the Era of Synthetic Data (FRCSyn) organized at CVPR 2024. FRCSyn aims to investigate the use of synthetic data in face recognition to address current technological limitations, including data privacy concerns, demographic biases, generalization to novel scenarios, and performance constraints in challenging situations such as aging, pose variations, and occlusions. Unlike the 1st edition, in which synthetic data from DCFace and GANDiffFace methods was only allowed to train face recognition systems, in this 2nd edition we propose new sub-tasks that allow participants to explore novel face generative methods. The outcomes of the 2nd FRCSyn Challenge, along with the proposed experimental protocol and benchmarking contribute significantly to the application of synthetic data to face recognition.

연구 동기 및 목표

• 다양한 인구 통계적 집단과 도전적인 조건에서 합성 데이터의 효과성을 조사한다.
• 실세계 얼굴 인식의 한계, 즉 인구 통계적 편향, 개인정보 보호 문제, 노화, 자세 변화 및 가림 현상에 대한 내성적 저항력을 해결한다.
• 참가자들이 DCFace와 GANDiffFace를 초월한 새로운 생성 모델을 사용할 수 있도록 하여, 합성 데이터 생성 분야의 혁신을 촉진한다.
• 합성 데이터의 양과 품질이 제약 조건 및 비제약 조건 훈련 시나리오에서 모델의 일반화 능력과 성능에 미치는 영향을 평가한다.
• 실재 데이터 훈련 및 하이브리드 훈련과 비교하여 합성 데이터 훈련 방법을 벤치마킹하고, 실세계 구현에 최적의 전략을 규명한다.

제안 방법

• 주요 두 가지 과제를 도입한다: 과제 1은 제약 조건 및 비제약 조건 합성 데이터에서 모델 성능을 평가하며, 과제 2는 다양한 데이터 가용성 조건에서 실세계 벤치마크로의 일반화 능력을 평가한다.
• 참가자들이 자신이 선택한 어떤 생성 프레임워크를 사용하여도 합성 데이터를 기반으로 얼굴 인식 모델을 훈련시킬 수 있도록 하여 방법론적 자유도를 높인다.
• 표준 얼굴 인식 백본(예: ResNet, IResNet)을 사용하며, 손실 함수로는 ArcFace, AdaFace, CosFace, UniFace를 활용한다.
• 합성 데이터 정제 및 선택 기법을 통합하며, CTAI 및 CBSR-Samsung 팀은 고급 필터링 전략을 적용하였다.
• 고해상도 합성 데이터를 생성하기 위해 StyleGAN2 및 확산 기반 모델(예: Hourglass Diffusion Transformer, StyleNAT)을 활용한 동적 이미지 생성 기법을 도입한다.
• 표준 데이터셋(BUPT-BalancedFace, AgeDB, CFP-FP, ROF)을 기반으로 평가하며, 주요 평가 지표로는 top-1 정확도와 GAP(generalization accuracy penalty)를 사용한다.

실험 결과

연구 질문

• RQ1 무제한 합성 데이터로만 훈련된 얼굴 인식 시스템이 비제약 조건 환경에서 실재 데이터 전용 훈련 시스템을 능가할 수 있는가?
• RQ2 특히 인구 통계적 편향과 도전적인 조건에서, 합성 데이터로 훈련된 얼굴 인식 모델의 성능는 실재 데이터로 훈련된 경우와 어떻게 다를까?
• RQ3 합성 데이터가 얼굴 인식 시스템의 인구 통계적 편향을 얼마나 효과적으로 완화하고 일반화 능력을 향상시킬 수 있는가?
• RQ4 고품질의 합성 데이터를 생성하여 실세계 평가 세트로 잘 일반화되는 데 가장 효과적인 생성 모델과 훈련 전략은 무엇인가?
• RQ5 합성 데이터와 실재 데이터를 결합할 경우, 각각을 독립적으로 사용할 때와 비교해 성능에 어떤 영향을 미치는가?

주요 결과

• ID R&D 팀은 서브과제 1.2(비제약 조건 합성 데이터)에서 96.73%의 top-1 정확도를 기록하여 실재 데이터 전용 훈련을 능가하였으며, 무제한 합성 데이터의 잠재력을 입증하였다.
• 서브과제 2.2에서 합성 데이터가 무제한이었을 경우, Idiap-SynthDistill 팀은 평균 93.50%의 정확도와 -0.05%의 음수 GAP를 기록하여 제한된 실재 데이터에 비해 뛰어난 일반화 능력을 보였다.
• K-IBS-DS 팀은 서브과제 2.3(합성 + 실재 데이터)에서 평균 95.42%의 정확도와 -2.15%의 GAP를 기록하여 하이브리드 훈련이 성능 한계를 완화시킨다는 것을 입증하였다.
• 최상위 성능를 기록한 팀들은 주로 기존의 아키텍처(ResNet/IResNet)와 손실 함수(ArcFace, AdaFace)를 사용하였으며, UniFace나 CosFace와 같은 신규 방법을 채택한 팀은 소수에 그쳤다.
• Hourglass Diffusion Transformer 및 StyleNAT와 같은 새로운 모델에서 유래한 합성 데이터가 성능 향상에 크게 기여하여 고급 생성 기법의 가치를 입증하였다.
• 강력한 성능를 기록했음에도 불구하고, 대부분의 팀이 서브과제 2.1(합성 데이터 전용)에서 양수의 GAP 값을 보고하여, 합성 데이터만으로는 여전히 실재 데이터의 일반화 능력을 완전히 대체하지 못하고 있음을 시사한다.