[논문 리뷰] CelebA-Spoof: Large-Scale Face Anti-Spoofing Dataset with Rich Annotations

Yuanhan Zhang, Zhenfei Yin외 5명|arXiv (Cornell University)|2020. 07. 24.

Biometric Identification and Security참고 문헌 36인용 수 24

한 줄 요약

이 논문은 10,177명의 주제에서 온 625,537장의 이미지를 포함하며, 스푸핑 유형, 조명, 환경 및 40개의 얼굴 특징을 포함한 총 43개의 속성을 포함하는 대규모 얼굴 스푸핑 방지 데이터셋인 CelebA-Spoof를 소개한다. 통합 다중 작업 프레임워크(AENet)를 사용하여 저자들은 보조 의미적 애너테이션의 중요성을 입증하였으며, 미세조정 없이도 CASIA-MFSD에서 최고 성능을 달성하였다.

ABSTRACT

As facial interaction systems are prevalently deployed, security and reliability of these systems become a critical issue, with substantial research efforts devoted. Among them, face anti-spoofing emerges as an important area, whose objective is to identify whether a presented face is live or spoof. Though promising progress has been achieved, existing works still have difficulty in handling complex spoof attacks and generalizing to real-world scenarios. The main reason is that current face anti-spoofing datasets are limited in both quantity and diversity. To overcome these obstacles, we contribute a large-scale face anti-spoofing dataset, CelebA-Spoof, with the following appealing properties: 1) Quantity: CelebA-Spoof comprises of 625,537 pictures of 10,177 subjects, significantly larger than the existing datasets. 2) Diversity: The spoof images are captured from 8 scenes (2 environments * 4 illumination conditions) with more than 10 sensors. 3) Annotation Richness: CelebA-Spoof contains 10 spoof type annotations, as well as the 40 attribute annotations inherited from the original CelebA dataset. Equipped with CelebA-Spoof, we carefully benchmark existing methods in a unified multi-task framework, Auxiliary Information Embedding Network (AENet), and reveal several valuable observations.

연구 동기 및 목표

• 기존의 얼굴 스푸핑 방지 데이터셋이 규모, 다양성, 풍부한 애너테이션 부족으로 인해 한계를 보이고 있는 문제를 해결하기 위해.
• 강력한 훈련과 평가를 지원하기 위해 대규모, 다양한, 고밀도로 애너테이션된 데이터셋을 개발하기 위해.
• 스푸핑 공격에 대한 모델 일반화 및 성능에 미치는 보조 의미적 및 기하학적 정보의 영향을 조사하기 위해.
• 얼굴 스푸핑 방지 분야에서 교차 데이터셋 평가 및 모델 일반화를 위한 표준화된 벤치마크를 수립하기 위해.
• 풍부한 속성 감시가 이진 또는 중간 수준의 감시를 초월하여 모델의 강건성과 성능을 향상시킬 수 있음을 입증하기 위해.

제안 방법

• 저자들은 8개 세션(2개 환경 × 4개 조명 조건) 동안 10개 이상의 다양한 센서를 사용하여 10,177명의 주제에서 625,537장의 이미지를 수집함으로써 CelebA-Spoof를 구축하였다.
• 모든 라이브 이미지는 CelebA 데이터셋에서 유래되었으며, 스푸핑 이미지는 숙련된 애너테이터가 스푸핑 유형, 조명, 환경 등을 애너테이션하였다.
• 이 데이터셋은 총 43개의 속성을 포함한다: CelebA에서 유래한 40개의 얼굴 속성과 3개의 스푸핑 방지 전용 속성(스푸핑 유형, 조명, 환경).
• 의미적 및 기하학적 특징을 사용하여 라이브/스푸핑 분류를 동시에 학습하는 통합 다중 작업 학습 프레임워크인 보조 정보 임베딩 네트워크(AENet)를 제안하였다.
• AENet는 얼굴 속성, 스푸핑 유형, 조명, 환경, 기하학적 표현(깊이 및 반사도 맵)으로부터 보조 감시를 통합한다.
• 세 가지 평가 프로토콜을 수립하였다: 프로토콜 1은 스푸핑 유형 일반화를 위한 것이며, 프로토콜 2는 센서 변동성을 위한 것이며, CASIA-MFSD에서의 교차 데이터셋 벤치마크를 위한 것이다.

실험 결과

연구 질문

• RQ1 예를 들어 얼굴 속성, 스푸핑 유형, 조명, 환경 등의 풍부한 의미적 애너테이션은 얼굴 스푸핑 방지 모델의 성능과 일반화에 어떤 영향을 미치는가?
• RQ2 스푸핑 공격의 다양성에 대응하기 위해 기하학적 특징(깊이 및 반사도 맵)과 의미적 특징 중 어느 것이 더 중요한가?
• RQ3 CelebA-Spoof에서 훈련한 모델이 CASIA-MFSD와 같은 실세계 데이터셋 및 예상치 못한 스푸핑 시나리오로의 일반화 능력이 얼마나 향상되는가?
• RQ4 기존의 이진 또는 중간 수준의 기하학적 감시보다 보조 의미적 감시가 강건성과 정확도 면에서 뛰어나게 작용할 수 있는가?
• RQ5 교차 도메인 설정에서 다양한 센서 품질과 환경 조건에서 모델 성능은 어떻게 변화하는가?

주요 결과

• AENet를 사용하여 의미 보조 작업을 통합한 모델은 미세조정 없이도 CASIA-MFSD에서 최고 성능을 달성하였으며, HTER는 11.9%를 기록하였다.
• CelebA-Spoof에서 미세조정된 기본 ResNet-18 모델은 CASIA-MFSD에서 HTER 14.3%를 기록하였으며, 이는 이전의 SOTA 방법인 FAS-TD-SF(HTER 39.4%)를 뛰어넘었다.
• 의미적 및 기하학적 보조 작업을 모두 포함한(AENet C,S,G) 경우, FPR=0.5% 조건에서 EER이 73.6%로 감소하였고, CelebA-Spoof 프로토콜 1에서 재현율은 95.0%로 향상되었다.
• 의미적 정보(얼굴 속성 및 스푸핑 유형)는 기하학적 특징보다 더 강력한 일반화 성능을 제공함을 입증하였으며, CASIA-MFSD에서 AENet C,S(HTER 12.1%) 대비 AENet C,G(HTER 14.1%)의 결과로 확인되었다.
• 완전한 보조 감시를 통합한 모델(AENet C,S,G)은 FPR=0.5% 조건에서 CelebA-Spoof에서 재현율 95.0%와 AUC 91.4%를 기록하여 높은 탐지 정확도를 입증하였다.
• 교차 센서 벤치마크(프로토콜 2) 결과, CelebA-Spoof에서 훈련된 모델은 저, 중, 고 품질 센서 간에 잘 일반화되었으며, EER 값은 5% 이하, FPR=0.5%는 2.5% 이하로 나타났다.