[논문 리뷰] A Dataset and Benchmark for Large-scale Multi-modal Face Anti-spoofing

Shifeng Zhang, Xiaobo Wang외 7명|arXiv (Cornell University)|2018. 12. 02.

Biometric Identification and Security참고 문헌 50인용 수 18

한 줄 요약

이 논문은 1,000명의 주체, 21,000개의 영상, 세 가지 모odal(색상(RGB), 깊이, 적외선(IR))을 포함한 가장 큰 공개된 다중모달 얼굴 위조 방지 데이터셋인 CASIA-SURF를 소개한다. 이는 대규모 학습 및 평가를 가능하게 하며, 정보를 적절히 재가중하는 모달별 특징 재가중 기반의 새로운 다중모달 융합 방법을 제안하고, 실제 운영 환경 성능을 더 잘 반영하기 위해 ROC 곡선 기반 평가를 주장한다. 이는 기준 프로토콜에서 뛰어난 일반화 능력과 강건성을 입증한다.

ABSTRACT

Face anti-spoofing is essential to prevent face recognition systems from a security breach. Much of the progresses have been made by the availability of face anti-spoofing benchmark datasets in recent years. However, existing face anti-spoofing benchmarks have limited number of subjects ($\le egmedspace170$) and modalities ($\leq egmedspace2$), which hinder the further development of the academic community. To facilitate face anti-spoofing research, we introduce a large-scale multi-modal dataset, namely CASIA-SURF, which is the largest publicly available dataset for face anti-spoofing in terms of both subjects and visual modalities. Specifically, it consists of $1,000$ subjects with $21,000$ videos and each sample has $3$ modalities (i.e., RGB, Depth and IR). We also provide a measurement set, evaluation protocol and training/validation/testing subsets, developing a new benchmark for face anti-spoofing. Moreover, we present a new multi-modal fusion method as baseline, which performs feature re-weighting to select the more informative channel features while suppressing the less useful ones for each modal. Extensive experiments have been conducted on the proposed dataset to verify its significance and generalization capability. The dataset is available at https://sites.google.com/qq.com/chalearnfacespoofingattackdete

연구 동기 및 목표

• 얼굴 위조 방지 분야에서 대규모, 다중모달 데이터셋의 부족으로 인해 모델의 일반화 능력과 성능 평가가 제한되는 문제를 해결한다.
• 기존 벤치마크의 제한점(≤170명의 주체, ≤2개의 모달)을 극복한다.
• 특히 낮은 가짜 양성률을 고려할 때 실제 운영 환경 요구사항을 더 잘 반영하기 위해 ROC 곡선을 기반으로 한 표준화된 평가 프로토콜을 수립한다.
• RGB, 깊이, IR 모달 간에 정보가 풍부한 특징을 적응적으로 재가중하는 새로운 다중모달 융합 방법을 제안한다.
• CASIA-SURF에서 학습한 모델이 SiW 및 CASIA-MFSD와 같은 교차 데이터셋 평가에서 일반화 능력을 얼마나 잘 보여주는지 입증한다.

제안 방법

• 1,000명의 주체, 21,000개의 영상 클립, RGB, 깊이, 적외선(IR)의 세 가지 시각적 모달을 포함한 대규모 데이터셋인 CASIA-SURF를 소개한다.
• 각 모달에 맞는 특징 재가중을 수행하는 다중모달 융합 네트워크를 설계하여 정보가 풍부한 채널 특징을 강조하고, 유용성이 떨어지는 특징은 억제한다.
• 학습, 검증, 테스트 분할을 포함한 표준화된 평가 프로토콜을 정의하고, 교차 데이터셋 일반화를 위한 세 가지 별도의 테스트 프로토콜을 포함한다.
• 수신기 작동 특성(ROC) 곡선을 주요 평가 지표로 채택하여, 실제 운영 환경 적용성을 반영하기 위해 낮은 가짜 양성률(예: FPR = 10⁻⁴)에서의 진짜 양성률을 중시한다.
• RGB 프레임와 정렬된 일관된 깊이 및 IR 데이터 확보를 위해 Intel RealSense 카메라를 사용해 데이터를 수집한다.
• 실제 환경의 다양한 제시 공격을 시뮬레이션하기 위해 6종류의 위조 공격(예: 인쇄, 컷, 굽힘, 거리 간격)을 포함한다.

실험 결과

연구 질문

• RQ1 대규모, 다중모달 데이터셋이 얼굴 위조 방지 모델의 일반화 능력과 강건성에 상당한 영향을 미칠 수 있는가?
• RQ2 모달별 특징 재가중 기반의 다중모달 융합은 단일 모달 또는 단순한 초기 융합 방법에 비해 위조 탐지 성능을 어떻게 향상시키는가?
• RQ3 CASIA-SURF에서 학습한 모델이 SiW 및 CASIA-MFSD와 같은 교차 데이터셋 벤치마크에서 성능을 얼마나 향상시키는가?
• RQ4 실제 운영 환경 시나리오에서 기존 지표(예: ACER)에 비해 ROC 곡선이 더 의미 있는 평가 지표인가?
• RQ5 다양한 위조 공격 유형(예: 인쇄 대비 재생)이 각 모달 간의 모델 성능에 어떤 영향을 미치는가?

주요 결과

• CASIA-SURF에서 학습한 FAS-TD-SF 모델은 CASIA-SURF 벤치마크에서 ACER 0.80%를 기록하여 이전 방법들보다 뚜렷이 뛰어난 성능을 보였다.
• SiW 데이터셋에서 CASIA-SURF로 미세조정된 모델은 프로토콜 3 하에서 ACER 0.17%를 기록하여 강력한 제로샷 일반화 능력을 입증했다.
• CASIA-MFSD에서 테스트한 결과, CASIA-SURF에서 학습한 모델은 HTER 37.3%를 기록하여 Replay-Attack에서 학습한 모델(45.5%) 및 기타 기준 모델들을 능가했다.
• 가짜 양성률이 10⁻⁴일 때, 최고 성능 모델의 TPR는 단지 56.8%에 그쳐, 기존 지표와 실제 운영 요구사항 사이의 격차를 드러냈다.
• ROC 곡선 분석을 통해 기존 지표인 ACER가 초저조한 가짜 양성률에서의 핵심 성능을 포착하지 못함을 확인하였고, 이는 ROC 기반 평가의 필요성을 정당화한다.
• 모달별 특징 재가중 기반의 다중모달 융합 방법은 노이즈가 많거나 정보가 덜 풍부한 특징을 효과적으로 억제하여, 모든 모달에서 종합적인 탐지 정확도를 향상시켰다.