[논문 리뷰] Revisiting Pixel-Wise Supervision for Face Anti-Spoofing

Zitong Yu, Xiaobai Li외 3명|arXiv (Cornell University)|2020. 11. 24.

Biometric Identification and Security참고 문헌 63인용 수 12

한 줄 요약

이 논문은 얼굴 위조 방지(FAS)를 위한 새로운 피라미드 감독 메커니즘을 제안하며, 국소적 및 전역적 신호를 통해 다중 척도 공간적 맥락을 제공함으로써 딥 모델의 성능을 향상시킨다. 기존 픽셀 단위 프레임워크에 이 감독을 통합함으로써 인식 정확도와 해석 가능성 모두 향상되며, 다섯 개의 벤치마크 데이터셋에서 최신 기술 수준의 성능을 달성하여 EER 향상과 예측 불가 공격에 대한 강건성 향상이 뚜렷하다.

ABSTRACT

Face anti-spoofing (FAS) plays a vital role in securing face recognition systems from the presentation attacks (PAs). As more and more realistic PAs with novel types spring up, it is necessary to develop robust algorithms for detecting unknown attacks even in unseen scenarios. However, deep models supervised by traditional binary loss (e.g., `0' for bonafide vs. `1' for PAs) are weak in describing intrinsic and discriminative spoofing patterns. Recently, pixel-wise supervision has been proposed for the FAS task, intending to provide more fine-grained pixel/patch-level cues. In this paper, we firstly give a comprehensive review and analysis about the existing pixel-wise supervision methods for FAS. Then we propose a novel pyramid supervision, which guides deep models to learn both local details and global semantics from multi-scale spatial context. Extensive experiments are performed on five FAS benchmark datasets to show that, without bells and whistles, the proposed pyramid supervision could not only improve the performance beyond existing pixel-wise supervision frameworks, but also enhance the model's interpretability (i.e., locating the patch-level positions of PAs more reasonably). Furthermore, elaborate studies are conducted for exploring the efficacy of different architecture configurations with two kinds of pixel-wise supervisions (binary mask and depth map supervisions), which provides inspirable insights for future architecture/supervision design.

연구 동기 및 목표

• 기존 픽셀 단위 감독 방법을 분석하고 검토하여 FAS에서의 이해도 향상과 벤치마킹을 위한 기초를 마련한다.
• 기존 픽셀 단위 감독의 한계인 국소적 세부 사항과 전역적 의미를 동시에 포착하지 못하는 문제를 해결한다.
• 딥 FAS 모델에서 다중 척도 공간적 맥락 학습을 향상시키기 위한 즉시 사용 가능한 피라미드 감독 메커니즘을 제안한다.
• 위조 영역의 정확한 국소화를 가능하게 하여 모델의 해석 가능성 향상.
• 향후 FAS 방법 설계를 위한 아키텍처-감독 구성에 대한 경험적 통찰을 제공한다.

제안 방법

• 제안된 피라미드 감독은 다양한 수신장이 있는 다중 척도 특징 맵을 통합하여, 국소적 패치 수준의 특징과 전역적 의미적 신호를 동시에 학습할 수 있도록 모델을 안내한다.
• 지식 기반 이진 마스크 또는 깊이 맵에서 유도된 8×8 및 4×4 해상도의 감독 신호를 다중 척도에 적용한다.
• 감독은 척도 간 손실의 가중 합으로 구현되어 네트워크가 계층적으로 예측를 개선할 수 있도록 한다.
• 다양한 백본 아키텍처(예: ResNet50, CDCN)와 호환되며, 기존 픽셀 단위 FAS 파이프라인에 원활하게 통합될 수 있다.
• 추가적인 복잡한 요소 없이, 다중 척도 감독 신호에 표준 교차 엔트로피 손실을 사용한다.
• 표준 FAS 프로토콜에 따라 평가되었으며, 데이터셋 내에서의 타입 간 테스트 및 예측 불가 공격에 대한 제로샷 일반화 성능도 검증하였다.

실험 결과

연구 질문

• RQ1 이진 마스크, 깊이 맵 등 다양한 픽셀 단위 감독 신호가 FAS 모델의 성능과 일반화 능력에 어떤 영향을 미치는가?
• RQ2 단일 척도 감독 대비 다중 척도 감독이 정확도 향상과 해석 가능성 향상에 기여하는가?
• RQ3 제안된 피라미드 감독은 예측 불가 공격 유형에 대해 최신 기술 수준의 방법과 비교해 어떤 수준의 강건성을 보이는가?
• RQ4 다양한 감독 전략과 조합했을 때 아키텍처 선택(예: ResNet50 대비 CDCN)의 영향은 어떠한가?
• RQ5 피라미드 감독은 위조 영역을 얼마나 정확하게 국소화할 수 있는가?

주요 결과

• SiW-M 데이터셋에서 크로스 타입 테스트 조건에서 제안된 피라미드 감독(ResNet50-PS)은 평균 EER 11.5%를 달성하여, 기존의 ResNet50-8x8 기반 모델(EER: 13.8%)보다 17% 향상되었으며, EER 감소 효과가 뚜렷했다.
• 동일한 벤치마크에서 CDCN-PS는 EER 11.5%를 기록하여 기존 CDCN 기반 모델(EER: 13.1%) 대비 12% 향상되었으며, 다양한 아키텍처에서 일관된 성능 향상을 입증했다.
• 모델의 해석 가능성은 크게 향상되었다: 피라미드 감독을 적용한 모델은 위조 영역(예: 마스크, 인쇄지)을 명확히 국소화했으며, 살아있는 영역에 대한 잡음(가짜 양성)은 최소화했다.
• '투명 마스크' 및 '부분 종이'와 같은 어려운 예측 불가 공격 유형에서도 피라미드 감독 모델은 표준 픽셀 단위 감독 대비 더 높은 신뢰성과 낮은 혼동도를 유지했다.
• 세 가지 픽셀 단위 레이블(이진 마스크, 깊이 맵, 반사 맵)을 사용하는 BCN [9]과 유사한 성능를 달성했으나, 단일 레이블 유형만을 사용함으로써 효율성과 효과성을 동시에 입증했다.
• 제거 실험을 통해 다중 척도 감독이 다섯 개의 모든 벤치마크 데이터셋에서 성능 향상을 일관되게 유도하는 것으로 확인되었으며, 특히 타입 간 테스트 및 제로샷 일반화 설정에서 가장 큰 향상이 관찰되었다.