[논문 리뷰] CASIA-SURF: A Large-scale Multi-modal Benchmark for Face Anti-spoofing

Shifeng Zhang, Ajian Liu외 6명|arXiv (Cornell University)|2019. 08. 28.

Biometric Identification and Security참고 문헌 60인용 수 17

한 줄 요약

이 논문은 1,000명의 피험자, 21,000개의 영상, 그리고 세 가지 모odal(RGB, 깊이, 적외선)을 포함하는 대규모 다중모달 얼굴 위조 방지 벤치마크인 CASIA-SURF를 소개한다. 다중모달 다중스케일 융합 방법과 모달별 특징 재가중 기법을 제안하여 최신 성능을 달성하고, 교차 데이터셋 평가에서 뛰어난 일반화 능력을 입증한다.

ABSTRACT

Face anti-spoofing is essential to prevent face recognition systems from a security breach. Much of the progresses have been made by the availability of face anti-spoofing benchmark datasets in recent years. However, existing face anti-spoofing benchmarks have limited number of subjects ($\le egmedspace170$) and modalities ($\leq egmedspace2$), which hinder the further development of the academic community. To facilitate face anti-spoofing research, we introduce a large-scale multi-modal dataset, namely CASIA-SURF, which is the largest publicly available dataset for face anti-spoofing in terms of both subjects and modalities. Specifically, it consists of $1,000$ subjects with $21,000$ videos and each sample has $3$ modalities (i.e., RGB, Depth and IR). We also provide comprehensive evaluation metrics, diverse evaluation protocols, training/validation/testing subsets and a measurement tool, developing a new benchmark for face anti-spoofing. Moreover, we present a novel multi-modal multi-scale fusion method as a strong baseline, which performs feature re-weighting to select the more informative channel features while suppressing the less useful ones for each modality across different scales. Extensive experiments have been conducted on the proposed dataset to verify its significance and generalization capability. The dataset is available at https://sites.google.com/qq.com/face-anti-spoofing/welcome/challengecvpr2019?authuser=0

연구 동기 및 목표

• 충분한 피험자 다양성과 모달 다양성을 확보하지 못한 대규모 다중모달 얼굴 위조 방지 데이터셋의 부족을 해소하기 위해.
• 기존 벤치마크의 한계(피험자 수 ≤170, 모달 수 ≤2, 평가 다양성 부족)를 극복하기 위해.
• 기존의 오차율 외에도 ROC 곡선 등을 포함한 종합적인 평가 지표를 제공하여 실제 응용 환경의 요구사항을 더 잘 반영하기 위해.
• 표준화된 훈련/검증/테스트 분할과 측정 도구를 제공하여 재현 가능성과 공정한 비교를 보장하기 위해.
• CASIA-SURF에서 훈련된 모델의 일반화 능력을 CASIA-MFSD 및 기타 벤치마크에서의 교차 데이터셋 평가를 통해 입증하기 위해.

제안 방법

• RealSense 카메라를 사용해 1,000명의 피험자로부터 21,000개의 영상을 수집하여 RGB, 깊이, 적외선 모달을 동시에 촬영한다.
• 다양한 스케일에서 모달에 따라 특징 재가중을 수행하는 새로운 다중모달 다중스케일 융합 네트워크를 도입한다.
• 모달 별로 정보량이 적은 채널 특징은 적응적으로 억제하고, 더 분류 능력이 뛰어난 특징은 강화한다.
• 다양한 수신장 영역을 고려한 다중스케일 특징 추출 전략을 활용해 공간적 및 채널 수준의 표현을 포괄한다.
• 측정 도구와 표준화된 평가 프로토콜(교차 데이터셋 테스트 포함)을 도입하여 일관성과 공정성을 확보한다.
• 실제 운영 환경의 요구사항을 더 잘 반영하기 위해 ROC 곡선을 주요 평가 지표로 사용하며, 특히 낮은 거짓 수용률을 고려한다.

실험 결과

연구 질문

• RQ1 대규모 다중모달 얼굴 위조 방지 벤치마크는 다양한 공격 유형에 대해 모델의 일반화 능력과 성능을 크게 향상시킬 수 있는가?
• RQ2 모달별 특징 재가중 기법을 적용한 다중모달 특징 융합은 위조 탐지 정확도 향상에 얼마나 효과적인가?
• RQ3 CASIA-SURF에서 훈련된 모델은 Replay-Attack 및 SiW와 같은 기존 벤치마크에서 더 뛰어난 성능을 보일 수 있는가?
• RQ4 기존의 APCER 및 NPCER와 같은 전통적 지표에 비해 ROC 곡선 기반 지표는 실제 적용 가능성 측면에서 얼마나 더 잘 반영하는가?
• RQ5 제안된 다중스케일 융합 방법은 내부 데이터셋 및 교차 데이터셋 평가 프로토콜 모두에서 기존 최신 기술을 초월할 수 있는가?

주요 결과

• 제안된 다중모달 다중스케일 융합 모델은 CASIA-SURF에서 ACER 0.80%를 기록했으며, APCER는 1.27%, NPCER는 0.33%로 강력한 탐지 성능을 입증했다.
• 교차 데이터셋 평가에서 CASIA-SURF에서 훈련된 모델은 CASIA-MFSD에서 HTER 37.3%를 기록했으며, Replay-Attack(47.9%) 및 SiW(39.4%)에서 훈련된 모델보다 뛰어난 성능을 보였다.
• 작은 데이터셋에서 훈련된 모델에 비해 CASIA-SURF에서 훈련된 모델는 더 우수한 일반화 능력을 보이며 스케일과 다중모달성의 이점을 입증했다.
• ROC 곡선을 주요 평가 지표로 사용함으로써 기존의 APCER 지표가 실제 위험을 과소평가할 수 있음을 확인했으며, 1.6% APCER일지라도 100건의 공격 중 약 2건의 거짓 수용이 발생할 수 있음을 시사했다.
• 모달별 재가중 기반의 다중스케일 융합 메커니즘이 분류 능력이 뛰어난 특징을 효과적으로 강화하고 노이즈를 억제하여 정밀도 향상에 기여했다.
• 1,000명의 피험자와 3가지 모달을 포함함으로써, 이 데이터셋은 규모와 다양성 측면에서 현재까지 공개된 바 있는 가장 큰 얼굴 위조 방지 벤치마크이다.