[논문 리뷰] CASIA-SURF: A Dataset and Benchmark for Large-scale Multi-modal Face Anti-spoofing.

Shifeng Zhang, Xiaobo Wang외 7명|arXiv (Cornell University)|2018. 12. 02.

Biometric Identification and Security인용 수 10

한 줄 요약

이 논문은 1,000명의 주제자, 21,000개의 영상, 세 가지 모odal(색상, 깊이, 적외선)을 포함한 가장 큰 공개된 얼굴 위조 방지 데이터셋인 CASIA-SURF를 소개하며, 표준화된 벤치마크, 평가 프로토콜, 학습/검증/테스트 분할을 함께 제공한다. 또한 유의미한 특징을 재가중하고 덜 유용한 특징을 억제하는 다중 모달 융합 방법을 제안하여 새로운 벤치마크에서 뛰어난 성능을 달성한다.

ABSTRACT

Face anti-spoofing is essential to prevent face recognition systems from a security breach. Much of the progresses have been made by the availability of face anti-spoofing benchmark datasets in recent years. However, existing face anti-spoofing benchmarks have limited number of subjects ($\le egmedspace170$) and modalities ($\leq egmedspace2$), which hinder the further development of the academic community. To facilitate future face anti-spoofing research, we introduce a large-scale multi-modal dataset, namely CASIA-SURF, which is the largest publicly available dataset for face anti-spoofing both in terms of subjects and visual modalities. Specifically, it consists of $1,000$ subjects with $21,000$ videos and each sample has $3$ modalities (i.e., RGB, Depth and IR). Associated with this dataset, we also provide concrete measurement set, evaluation protocol and training/validation/testing subsets, developing a new benchmark for face anti-spoofing. Moreover, we present a new multi-modal fusion method as a strong baseline, which performs feature re-weighting to select the more informative channel features while suppressing less useful ones for each modal. Extensive experiments have been conducted on the proposed dataset to verify its significance and generalization capability. Dataset is available at https://sites.google.com/qq.com/chalearnfacespoofingattackdete

연구 동기 및 목표

• 기존 얼굴 위조 방지 벤치마크의 규모와 모달 다양성 부족으로 인해 분야 발전이 저해되는 문제를 해결하기 위해.
• RGB, 깊이, 적외선 모달에서 1,000명의 주제자와 21,000개의 영상이 포함된 대규모 다중 모달 데이터셋을 제공하기 위해.
• 일관된 평가를 위해 정의된 학습, 검증, 테스트 서브셋을 포함한 표준화된 벤치마크를 확립하기 위해.
• 다양한 모달 간에 정보성 특징을 적응적으로 재가중하는 강력한 다중 모달 융합 기반 방법을 개발하기 위해.
• 대규모, 다중 모달 얼굴 위조 방지에서의 일반화 및 확장성 연구를 가능하게 하기 위해.

제안 방법

• 1,000명의 주제자가 RGB, 깊이, 적외선(IR) 세 가지 시각적 모달에서 제어된 조건 하에 여러 영상을 기여하는 데이터셋인 CASIA-SURF가 구축된다.
• 재현 가능하고 공정한 비교를 보장하기 위해 고정된 학습, 검증, 테스트 분할을 포함하는 표준화된 평가 프로토콜이 정의된다.
• 각 채널별로 특징 재가중을 수행하여 정보성 특징을 강조하고 다른 모달 간에 덜 유용한 특징을 억제하는 새로운 다중 모달 융합 방법이 제안된다.
• 학습 가능한 어텐션 메커니즘 또는 유사한 재가중 전략을 사용하여 융합 과정에서 특징 중요도를 동적으로 조정한다.
• 대규모, 다중 모달 위조 방지 작업에서 딥 러닝 모델의 학습 및 평가를 지원하는 벤치마크이다.
• 데이터셋은 https://sites.google.com/qq.com/chalearnfacespoofingattackdete 에 공개되어 공동 연구를 촉진한다.

실험 결과

연구 질문

• RQ1 얼굴 위조 방지 데이터셋에서 주제자 수와 영상 다양성이 증가함에 따라 모델 성능은 어떻게 변화하는가?
• RQ2 RGB, 깊이, 적외선 등의 다중 시각적 모달을 통합할 경우 위조 탐지 정확도에 어떤 영향을 미치는가?
• RQ3 간단한 연결 또는 평균화와 비교해 복합적인 특징 재가중 메커니즘이 다중 모달 융합 성능을 향상시킬 수 있는가?
• RQ4 CASIA-SURF에서 학습된 모델은 새로운 주제자와 위조 공격에 대해 얼마나 일반화 가능한가?
• RQ5 표준화된 평가 프로토콜 하에서 새로운 벤치마크에서 강력한 다중 모달 융합 기반 방법의 성능은 어떠한가?

주요 결과

• CASIA-SURF는 RGB, 깊이, 적외선 모달에서 1,000명의 주제자와 21,000개의 영상이 포함된 가장 큰 공개된 얼굴 위조 방지 데이터셋이다.
• 정보성 특징을 선택적으로 강조하고 덜 유용한 특징을 억제함으로써 특징 재가중 기반의 제안된 다중 모달 융합 방법이 뛰어난 성능을 달성한다.
• 벤치마크의 표준화된 학습, 검증, 테스트 분할은 다양한 모델 간 일관되고 재현 가능한 평가를 가능하게 한다.
• 광범위한 실험을 통해 데이터셋의 일반화 능력과 대규모, 다중 모달 위조 방지 연구에 적합한 특성이 입증된다.
• 데이터셋과 벤치마크는 얼굴 위조 방지 연구의 진전을 가속화하기 위해 공개된다.