[논문 리뷰] DigiFace-1M: 1 Million Digital Face Images for Face Recognition

Gwangbin Bae, Martin de La Gorce외 6명|arXiv (Cornell University)|2022. 10. 05.

Face recognition and analysis인용 수 10

한 줄 요약

이 논문은 컴퓨터 그래픽스 파이프라인을 통해 생성된 120만 장의 사진처럼 생긴 디지털 얼굴 이미지로 구성된 대규모 합성 얼굴 데이터셋인 DigiFace-1M을 소개한다. 이는 개인정보 침해나 레이블 노이즈 없이 얼굴 인식 모델을 훈련시킬 수 있도록 한다. 자세, 액세서리, 조명 등의 속성을 완전히 제어할 수 있어 LFW에서 96.17%의 정확도를 달성하였으며, GAN 기반 합성 데이터 방법보다 오차율 감소율이 52.5% 높고, 단지 12만 장의 실재 이미지로 미세조정을 거치면 수백만 장의 실재 이미지로 훈련된 모델과 유사한 성능을 보였다.

ABSTRACT

State-of-the-art face recognition models show impressive accuracy, achieving over 99.8% on Labeled Faces in the Wild (LFW) dataset. Such models are trained on large-scale datasets that contain millions of real human face images collected from the internet. Web-crawled face images are severely biased (in terms of race, lighting, make-up, etc) and often contain label noise. More importantly, the face images are collected without explicit consent, raising ethical concerns. To avoid such problems, we introduce a large-scale synthetic dataset for face recognition, obtained by rendering digital faces using a computer graphics pipeline. We first demonstrate that aggressive data augmentation can significantly reduce the synthetic-to-real domain gap. Having full control over the rendering pipeline, we also study how each attribute (e.g., variation in facial pose, accessories and textures) affects the accuracy. Compared to SynFace, a recent method trained on GAN-generated synthetic faces, we reduce the error rate on LFW by 52.5% (accuracy from 91.93% to 96.17%). By fine-tuning the network on a smaller number of real face images that could reasonably be obtained with consent, we achieve accuracy that is comparable to the methods trained on millions of real face images.

연구 동기 및 목표

• 동의 없이 수집된 웹 크롤링 데이터를 제거함으로써 얼굴 인식 데이터셋의 윤리적 문제를 해결하기 위해.
• 실세계 웹 크롤링 얼굴 데이터셋에 내재된 데이터 편향과 레이블 노이즈를 줄이기 위해.
• 확장 가능한 합성 얼굴 데이터셋을 개발하여 강력한 얼굴 인식 모델의 훈련을 가능하게 하기 위해.
• 그래픽 렌더링된 합성 얼굴가 GAN으로 생성된 합성 얼굴보다 얼굴 인식 성능에서 뛰어나지 않는지 평가하기 위해.
• 소량의 실재 데이터로 미세조정을 거치면 대규모 실재 데이터셋으로 훈련된 모델과 유사한 성능을 달성할 수 있는지 보여주기 위해.

제안 방법

• 저자들은 511명의 동의를 얻은 얼굴 스캔 데이터를 기반으로 한 매개변수 기반의 얼굴 기하학 및 텍스처 모델을 사용하여 다양한 신원을 생성한다.
• 각 신원은 얼굴 기하학, 텍스처, 헤어 스타일, 색상, 두께, 조밀함 등에서 정의된 방식으로 변형된다.
• 합성 이미지는 자세, 표정, 액세서리(안경, 메이크업, 헤드웨어), 조명, 카메라 각도, 환경 등에 대한 제어된 변화를 통해 렌더링된다.
• 3D 일관성과 속성 변경 시 신원 이탈을 방지하기 위해 그래픽스 파이프라인을 사용하여 데이터셋을 생성한다.
• 합성 데이터와 실재 데이터 간의 도메인 갭을 줄이기 위해 적극적인 데이터 증강 기법을 적용한다.
• 두 단계 훈련 전략을 사용한다: 먼저 합성 데이터로 사전 훈련한 후, 소량의 실재 얼굴 이미지로 미세조정한다.

실험 결과

연구 질문

• RQ1 컴퓨터 그래픽스 파이프라인을 통해 생성된 대규모 합성 얼굴 데이터셋이 실세계 웹 크롤링 데이터에 의존하지 않고 최신 기술 수준의 얼굴 인식 정확도를 달성할 수 있는가?
• RQ2 그래픽스 렌더링된 합성 얼굴로 훈련된 모델의 성능은 GAN으로 생성된 합성 얼굴 또는 실세계 데이터셋으로 훈련된 모델과 비교해 어떻게 되는가?
• RQ3 소량의 실재 얼굴 이미지로 미세조정을 거치면 합성 데이터와 실재 데이터 훈련 간의 성능 격차를 어느 정도 메울 수 있는가?
• RQ4 자세, 액세서리, 조명 등의 제어된 변화가 모델의 강건성과 정확도에 어떤 영향을 미치는가?
• RQ5 합성 데이터셋이 기존 실세계 얼굴 인식 데이터셋에서 발견되는 데이터 편향과 레이블 노이즈 문제를 완화할 수 있는가?

주요 결과

• 제안된 DigiFace-1M 데이터셋은 합성 데이터로만 훈련된 경우 LFW 벤치마크에서 96.17%의 정확도를 달성하였으며, 이는 GAN 기반 합성 방법인 SynFace가 동일한 벤치마크에서 달성한 91.93%보다 유의미하게 높은 성능이다.
• 단지 12만 장의 실재 얼굴 이미지( MS1MV2의 2%)로 미세조정한 모델은 LFW, CFP-FP, CPLFW에서 평균 정확도가 SV-AM-Softmax를 초월하며, 수백만 장의 실재 이미지로 훈련된 모델과 유사한 성능을 보였다.
• DigiFace-1M를 사용할 경우 LFW에서 오차율이 SynFace 대비 52.5% 감소하여, 얼굴 인식 성능에서 그래픽스 렌더링된 합성 얼굴이 GAN으로 생성된 합성 얼굴보다 뛰어나다는 것을 입증하였다.
• DigiFace-1M로 훈련된 모델는 AgeDB와 CALFW에서 뚜렷한 성능 격차를 보이며, 합성 데이터에 아직 노화 변화가 모델링되어 있지 않아 이는 주요 도메인 격차로 남아 있음을 시사한다.
• 적극적인 데이터 증강과 제어된 속성 변화를 통해 합성-실재 도메인 격차를 효과적으로 줄일 수 있으며, 이는 최소한의 실재 데이터로도 높은 성능을 달성할 수 있음을 보여준다.
• 이 데이터셋은 윤리적으로 타당하며, 모델 초기화에 511개의 동의를 얻은 스캔 데이터만을 사용하여 웹 크롤링 데이터와 관련된 개인정보 침해 및 윤리적 우려를 피하고 있다.