[논문 리뷰] CASIA-SURF CeFA: A Benchmark for Multi-modal Cross-ethnicity Face Anti-spoofing

Ajian Li, Zichang Tan외 5명|arXiv (Cornell University)|2020. 03. 11.

Biometric Identification and Security참고 문헌 42인용 수 7

한 줄 요약

이 논문은 세 가지 인종(아프리카, 동아시아, 중앙아시아)에 걸쳐 명시적인 인종 레이블을 포함한, 가장 큰 공개된 얼굴 위조 방지 데이터셋인 CeFA를 소개한다. RGB, 깊이, 적외선의 세 가지 모odalities와 2D/3D 프린트, 재생, 실리콘 젤의 네 가지 공격 유형을 포함한다. 또한 각 모달리티별로 정적-동적 융합 메커니즘을 갖춘 부분 공유 다중모달 네트워크(PSMM-Net)를 제안하여 CeFA, OULU-NPU, SiW, CASIA-SURF에서 최고 성능을 달성하며, 인종 간 및 알려지지 않은 위조 공격에 대한 강건성을 입증한다.

ABSTRACT

Ethnic bias has proven to negatively affect the performance of face recognition systems, and it remains an open research problem in face anti-spoofing. In order to study the ethnic bias for face anti-spoofing, we introduce the largest up to date CASIA-SURF Cross-ethnicity Face Anti-spoofing (CeFA) dataset (briefly named CeFA), covering $3$ ethnicities, $3$ modalities, $1,607$ subjects, and 2D plus 3D attack types. Four protocols are introduced to measure the affect under varied evaluation conditions, such as cross-ethnicity, unknown spoofs or both of them. To the best of our knowledge, CeFA is the first dataset including explicit ethnic labels in current published/released datasets for face anti-spoofing. Then, we propose a novel multi-modal fusion method as a strong baseline to alleviate these bias, namely, the static-dynamic fusion mechanism applied in each modality (i.e., RGB, Depth and infrared image). Later, a partially shared fusion strategy is proposed to learn complementary information from multiple modalities. Extensive experiments demonstrate that the proposed method achieves state-of-the-art results on the CASIA-SURF, OULU-NPU, SiW and the CeFA dataset.

연구 동기 및 목표

• 공개된 얼굴 위조 방지 데이터셋 중 명시적인 인종 레이블을 갖춘 것이 부족하여, 위조 방지 시스템에서의 인종 편향 연구가 저해되는 문제를 해결하기 위해.
• 얼굴 위조 방지에서 인종 간 및 알려지지 않은 위조 공격 일반화 성능 평가를 위한 종합적인 벤치마크를 구축하기 위해.
• 동적 특징 학습을 통해 인종 및 공격 패tern 편향을 완화하는 강력한 다중모달 융합 기반 모델을 개발하기 위해.
• 인종 간, 알려지지 않은 위조 공격, 또는 둘 다의 조건에서 성능을 체계적으로 측정하기 위한 네 가지 평가 프로토콜을 제공하기 위해.
• 제안된 데이터셋과 방법의 유용성을 여러 공개 벤치마크에서 입증하여 일반화 능력 향상과 최고 성능 달성을 보여주기 위해.

제안 방법

• 1,607명의 피험자, 세 가지 인종, 네 가지 공격 유형(프린트, 재생, 3D 프린트, 실리콘 젤), 세 가지 모달리티(RGB, 깊이, 적외선)를 포함한 CASIA-SURF CeFA 데이터셋을 제안하며, 다양한 조명 조건에서 촬영하였다.
• 각 모달리티 브랜치 내부에 정적-동적 융합 메커니즘을 도입하여, 7프레임 시퀀스의 랭크 풀링을 통해 동적 이미지를 생성함으로써 운동 특징을 포착한다.
• 모달리티 간의 조기에 상호작용을 가능하게 하면서도, 모달리티 특화된 특징 학습을 유지하는 부분 공유 다중모달 네트워크(PSMM-Net)를 설계하였다.
• 정적 이미지 특징과 동적 이미지 특징을 각각 처리하는 이중 브랜치 아키텍처를 사용하였으며, 공유 및 비공유 레이어를 통해 인덕티브 바이어스와 특징 보완성을 균형 있게 조절하였다.
• 비디오 클립을 동적 이미지로 변환하기 위해 랭크 풀링을 적용하여, 실제 얼굴과 위조 얼굴 간의 시간적 차이를 강조하였다.
• 인종 간 일반화, 알려지지 않은 위조 탐지, 병합된 강건성 평가를 위해 네 가지 평가 프로토콜을 적용하였다.

실험 결과

연구 질문

• RQ1 인종 기원이 얼굴 위조 방지 모델의 성능에 어떤 영향을 미치며, 특히 인종 간 설정에서 어떻게 영향을 미치는가?
• RQ2 최신 기술 기반의 위조 방지 방법들이 다양한 인종 집단에서 알려지지 않은 위조 공격에 얼마나 잘 일반화되는가?
• RQ3 동적 특징 학습을 통한 다중모달 융합이 인종 및 위조 변형에 대한 강건성을 향상시키는가?
• RQ4 기존 방법과 비교해 볼 때 제안된 PSMM-Net 기반 모델이 인종 및 위조 편향을 얼마나 효과적으로 감소시키는가?
• RQ5 CeFA 데이터셋에서의 사전 훈련이 SiW 및 OULU-NPU와 같은 다른 공개 벤치마크에서 성능 향상에 기여하는가?

주요 결과

• 제안된 SD-Net 기반 모델은 CeFA의 프로토콜 1에서 ACER 1.0%를 달성하여 BAS 및 STASN을 포함한 기존 방법들을 능가한다.
• CeFA의 프로토콜 2에서 모델은 ACER 1.1%를 기록하여 인종 간 평가 조건에서도 강력한 일반화 능력을 보였다.
• OULU-NPU의 프로토콜 3에서는 최고 성능인 ACER 2.5%, 프로토콜 4에서는 ACER 2.6%를 기록하여 알려지지 않은 위조 공격 및 인종 간 일반화에 대한 강건성을 입증하였다.
• SiW에서 프로토콜 3에서는 최저 ACER 1.8%, 프로토콜 4에서는 ACER 2.6%를 기록하여 BAS 및 STASN을 능가하는 성능을 보였다.
• CeFA 데이터셋에서의 사전 훈련은 SiW 및 OULU-NPU에서 ACER 성능을 크게 향상시켰으며, 특히 프로토콜 2와 3에서 최고 성능을 기록하였다.
• 시각화 결과 동적 이미지 표현이 운동 및 반사 특징의 차이를 효과적으로 포착하며, 특히 재생 공격와 실제 얼굴을 구분하는 데 유용함을 확인하였다.