[논문 리뷰] Learning Generalized Spoof Cues for Face Anti-spoofing

Haocheng Feng, Zhibin Hong외 6명|arXiv (Cornell University)|2020. 05. 08.

Biometric Identification and Security참고 문헌 37인용 수 54

한 줄 요약

얼굴 반 스푸핑을 이상 탐지로 재정의하고 잔여 프레임워크를 통해 일반화된 위조 큐를 학습하는 Spoof Cue Generator와 보조 분류기로 데이터셋 간 최첨단 일반화를 달성한다.

ABSTRACT

Many existing face anti-spoofing (FAS) methods focus on modeling the decision boundaries for some predefined spoof types. However, the diversity of the spoof samples including the unknown ones hinders the effective decision boundary modeling and leads to weak generalization capability. In this paper, we reformulate FAS in an anomaly detection perspective and propose a residual-learning framework to learn the discriminative live-spoof differences which are defined as the spoof cues. The proposed framework consists of a spoof cue generator and an auxiliary classifier. The generator minimizes the spoof cues of live samples while imposes no explicit constraint on those of spoof samples to generalize well to unseen attacks. In this way, anomaly detection is implicitly used to guide spoof cue generation, leading to discriminative feature learning. The auxiliary classifier serves as a spoof cue amplifier and makes the spoof cues more discriminative. We conduct extensive experiments and the experimental results show the proposed method consistently outperforms the state-of-the-art methods. The code will be publicly available at https://github.com/vis-var/lgsc-for-fas.

연구 동기 및 목표

• 생소한 위조 유형을 처리하기 위해 FAS를 이상 탐지 문제로 재공식화한다.
• 공간 맵으로서 구별 가능한 생방-위조 차이를 학습한다(스푸프 큐).
• 잔차 학습을 사용해 스푸프 큐를 강조하고 일반화를 향상시킨다.
• 생방 샘플에 대해 약한 감독, 위조 샘플에 대해 암시적 감독으로 엔드 투 엔드로 학습한다.
• 표준 FAS 벤치마크에서 최첨단 성능을 입증한다.

제안 방법

• 입력 이미지와 정렬된 픽셀 단위 맵으로 스푸프 큐를 정의하고, 생방 샘플은 0이고 위조는 비-제로로 설정한다.
• 생방 샘플에 대한 회귀 손실을 가지는 U-Net 기반 스푸프 큐 제너레이터를 제안하여 생방 데이터의 스푸프 큐를 최소화한다.
• 생방-생방 intra-class 응집도와 생방-위조 inter-class 구분을 촉진하기 위해 다중 스케일 트리플렛 손실을 도입한다.
• 오버레이된 스푸프 큐 맵과 입력 이미지를 함께 받는 보조 분류기를 도입하여 스푸프 큐를 증폭하고 판별력을 높인다.
• 손실 합성으로 L = alpha1 Lr + alpha2 sum Lt + alpha3 La를 학습에 사용한다. 여기서 Lr은 생방 샘플에 대한 픽셀 단위 회귀, Lt는 다중 스케일 트리플렛 손실, La는 보조 분류 손실이다.
• 테스트 중에는 생성된 스푸프 큐 맵의 평균 크기를 스푸프 점수로 계산한다(생방은 중심이 0).

실험 결과

연구 질문

• RQ1 FAS를 이상 탐지로 효과적으로 접근하여 미리 정의된 공격 유형을 넘어서 생방과 위조를 구분할 수 있는 일반화된 스푸프 큐를 학습할 수 있는가?
• RQ2 잔차 학습과 보조 감독이 다양한 데이터셋과 공격 양상에서 스푸프 큐의 판별력과 일반화를 향상시키는가?
• RQ3 생방 전용 회귀 감독 학습이 미지의 위조를 탐지하는 데 위조를 명시적으로 감독하는 경우와 비교해 어떤 차이가 있는가?
• RQ4 입력 전략(리사이즈 vs 패치)과 다중 스케일 표현이 학습된 스푸프 큐와 최종 성능에 어떤 영향을 미치는가?

주요 결과

• 해당 방법은 SiW 및 OULU-NPU의 프로토콜에서 데이터셋 내 성능의 최첨단을 달성한다.
• HTER 하에서 CASAIA-MFSD vs Replay-Attack 간의 inter-dataset 테스트에서도 최상 성능을 보인다.
• 시각화 결과 스푸프 큐가 매체 특성적 아티팩트에 대응하며 생방-위조 구분을 명확하게 가능하게 한다.
• 잔차 학습, 패치 기반 입력, 그리고 결합 감독(Lr, Lt, La)의 조합이 강 robust한 스푸프 큐 학습에 기여한다는 점을 확인한다.
• 이 접근법은 깊이 또는 시간 데이터에 의존하지 않고도 미지의 위조 유형과 현실적인 변형에 대한 강한 일반화를 보여준다.