[논문 리뷰] CelebA-Spoof Challenge 2020 on Face Anti-Spoofing: Methods and Results

Yuanhan Zhang, Zhenfei Yin외 23명|arXiv (Cornell University)|2021. 02. 25.

Biometric Identification and Security참고 문헌 14인용 수 10

한 줄 요약

이 논문은 10,177명의 주제에서 온 625,537장의 이미지를 사용한 대규모 얼굴 스푸핑 방지 경쟁인 CelebA-Spoof Challenge 2020을 제시한다. 최고 성능을 낸 방법들은 CDC-DAN과 같은 신규 아키텍처를 다중 척도 패치 기반 입력과 앙상블 전략과 결합하여 FPR=5×10⁻³일 때 TPR 100%를 달성했으며, 실제 환경 조건에서 최신 기술 수준의 성능을 입증했다.

ABSTRACT

As facial interaction systems are prevalently deployed, security and reliability of these systems become a critical issue, with substantial research efforts devoted. Among them, face anti-spoofing emerges as an important area, whose objective is to identify whether a presented face is live or spoof. Recently, a large-scale face anti-spoofing dataset, CelebA-Spoof which comprised of 625,537 pictures of 10,177 subjects has been released. It is the largest face anti-spoofing dataset in terms of the numbers of the data and the subjects. This paper reports methods and results in the CelebA-Spoof Challenge 2020 on Face AntiSpoofing which employs the CelebA-Spoof dataset. The model evaluation is conducted online on the hidden test set. A total of 134 participants registered for the competition, and 19 teams made valid submissions. We will analyze the top ranked solutions and present some discussion on future work directions.

연구 동기 및 목표

• CelebA-Spoof 데이터셋을 사용하여 대규모 경쟁을 조직함으로써 얼굴 스푸핑 방지 연구를 촉진하기 위해.
• 일반화를 보장하고 과적합을 방지하기 위해 약 30,000장의 은닉 테스트 세트에서 모델을 평가하기 위해.
• 실제 환경에서의 배포를 고려할 때 스푸핑 탐지에 효과적인 딥 러닝 아키텍처와 훈련 전략을 규명하기 위해.
• 데이터 증강, 모델 앙상블, 주의 메커니즘의 영향이 스푸핑 방지 성능에 미치는 영향을 탐색하기 위해.
• 스푸핑 방지 벤치마크의 향후 개선을 위한 데이터셋의 다양성, 크기, 현실성 향상에 대한 통찰을 제공하기 위해.

제안 방법

• 전면 이미지를 32×32에서 128×128 크기의 패치로 나누어 국소적 스푸핑 신호에 집중하는 다중 척도 패치 기반 입력 전략을 제안하였다.
• 강도 및 기울기 특징 집합을 위한 CDCN과 공간적 및 채널 의존성을 위한 자기주의 주의(self-attention)를 갖춘 DAN을 융합하여 특징의 구분 능력을 향상시켰다.
• 과적합을 줄이기 위해 컷아웃, vh-mixup, 혼합-연결, 무작위 정사각형, 무작위 간격과 같은 혼합 예제 기반 데이터 증강 기법을 적용하였다.
• 이미지 리사이징 시 성능 향상을 위해 스케일링 대신 미러링을 사용하여 이미지 품질을 유지하였다.
• 검증 성능 기반 가중 평균을 포함한 모델 앙상블 전략을 활용하여 예측 분산을 줄이고 정확도를 향상시켰다.
• AWS GPU 접근이 가능한 CodaLab 기반 플랫폼을 사용하여 온라인 평가를 수행하여 공정하고 재현 가능한 벤치마킹을 보장하였다.

실험 결과

연구 질문

• RQ1 다중 척도 패치 기반 입력과 주의 메커니즘은 얼굴 스푸핑 방지에서 스푸핑 탐지 성능에 어떻게 기여하는가?
• RQ2 혼합 예제 기반 데이터 증강 기법은 스푸핑 방지 작업에서 모델의 일반화 능력에 어떤 영향을 미치는가?
• RQ3 여러 모델을 조합하는 앙상블 전략은 낮은 FPR 기준에서 TPR을 크게 향상시킬 수 있는가?
• RQ4 기존 CNN과 비교해 볼 때 CDC-DAN과 같은 새로운 아키텍처는 스푸핑 공격 탐지에 얼마나 효과적인가?
• RQ5 현재 데이터셋의 주요 한계는 무엇이며, 향후 벤치마크의 크기와 현실성은 어떻게 향상시킬 수 있는가?

주요 결과

• 우승한 솔루션은 FPR = 5×10⁻³일 때 TPR 100%를 달성했으며, FPR = 10⁻³일 때도 TPR 100%를 기록했고, FPR = 10⁻⁴일 때는 TPR 99.991%를 기록했다.
• 3위 솔루션은 다중 척도 패치 기반 CDC-DAN 네트워크를 사용하여 FPR = 5×10⁻³일 때 TPR 100%를 달성했고, FPR = 10⁻³일 때는 TPR 99.918%를 기록했다.
• 특히 vh-mixup와 컷아웃과 같은 혼합 예제 기반 기법을 포함한 데이터 증강이 모델의 일반화 능력을 크게 향상시키고 과적합을 줄이는 데 기여했다.
• 검증 성능 기반 가중 평균을 활용한 모델 앙상블 전략은 개별 모델을 초월해 일관되게 뛰어난 성능을 보였다.
• 이미지 리사이징에 스케일링 대신 미러링을 사용함으로써 모든 모델에서 성능 향상이 관찰되었으며, 특히 작은 입력 크기에서 두드러졌다.
• 우승 솔루션은 패치 기반 입력을 통해 스푸핑 전용 특징를 전반적인 얼굴 특징에서 분리함으로써 탐지 정확도를 향상시키는 데 성공했다.