[논문 리뷰] Benchmarking Joint Face Spoofing and Forgery Detection with Visual and Physiological Cues

Zitong Yu, Rizhao Cai외 4명|arXiv (Cornell University)|2022. 08. 10.

Biometric Identification and Security인용 수 7

한 줄 요약

이 논문은 시각적 외관과 생리적 rPPG 신호를 활용한 공동 얼굴 스푸핑 및 위조 탐지에 대한 최초의 벤치마크를 소개한다. 다중 모odal 융합을 위해 가중치가 부여된 배치 정규화 및 레이어 정규화를 적용한 이중 브랜치 rPPG 네트워크를 제안하며, 공동 학습이 두 작업 모두에 대해 일반화 능력을 크게 향상시킨다. 특히 3D 마스크나 딥페이크와 같은 어려운 공격 유형에 대해 뛰어난 성능을 보인다.

ABSTRACT

Face anti-spoofing (FAS) and face forgery detection play vital roles in securing face biometric systems from presentation attacks (PAs) and vicious digital manipulation (e.g., deepfakes). Despite promising performance upon large-scale data and powerful deep models, the generalization problem of existing approaches is still an open issue. Most of recent approaches focus on 1) unimodal visual appearance or physiological (i.e., remote photoplethysmography (rPPG)) cues; and 2) separated feature representation for FAS or face forgery detection. On one side, unimodal appearance and rPPG features are respectively vulnerable to high-fidelity face 3D mask and video replay attacks, inspiring us to design reliable multi-modal fusion mechanisms for generalized face attack detection. On the other side, there are rich common features across FAS and face forgery detection tasks (e.g., periodic rPPG rhythms and vanilla appearance for bonafides), providing solid evidence to design a joint FAS and face forgery detection system in a multi-task learning fashion. In this paper, we establish the first joint face spoofing and forgery detection benchmark using both visual appearance and physiological rPPG cues. To enhance the rPPG periodicity discrimination, we design a two-branch physiological network using both facial spatio-temporal rPPG signal map and its continuous wavelet transformed counterpart as inputs. To mitigate the modality bias and improve the fusion efficacy, we conduct a weighted batch and layer normalization for both appearance and rPPG features before multi-modal fusion. We find that the generalization capacities of both unimodal (appearance or rPPG) and multi-modal (appearance+rPPG) models can be obviously improved via joint training on these two tasks. We hope this new benchmark will facilitate the future research of both FAS and deepfake detection communities.

연구 동기 및 목표

• 외관 또는 rPPG 신호 중 하나에만 의존하는 단모달 접근 방식으로 인해 발생하는 얼굴 반스푸핑(FAS) 및 딥페이크 탐지의 일반화 갭을 해소하기 위해.
• 주기적인 rPPG 및 청소화된 외관과 같은 공유 특징을 활용하기 위해 FAS 및 얼굴 위조 탐지에 대한 공동 학습의 가능성을 탐색하기 위해.
• 모달 간 편향을 완화하고 특징 분류 능력을 향상시키기 위한 강력한 다중 모달 융합 전략을 개발하기 위해.
• 고화질 3D 마스크 및 딥페이크를 포함한 다양한 공격 유형을 포함한 새로운 벤치마크를 구축하여 표준화된 평가를 가능하게 하기 위해.
• 다중 작업 학습, 융합 전략, 샘플링 방법이 미지의 공격 시나리오에 대한 모델 일반화에 미치는 영향을 조사하기 위해.

제안 방법

• 시공간적 rPPG 신호 지도와 그 연속 웨이블릿 변환 결과를 입력으로 사용하는 이중 브랜치 생리적 네트워크를 제안하여 rPPG 주기성 식별 능력을 향상시킨다.
• 다중 모달 융합 이전에 외관 및 rPPG 특징의 균형을 맞추기 위해 가중치가 부여된 배치 정규화 및 레이어 정규화 기법을 도입하여 모달 간 편향을 감소시킨다.
• 공유 백본 아키텍처(ResNet 및 ViT)를 사용하여 FAS(정상/스푸핑) 및 얼굴 위조 탐지(정상/딥페이크) 작업을 공동으로 학습한다.
• 초기 융합, 후기 융합, 특징 수준 융합과 같은 다양한 융합 전략을 평가하며, 성능 향상을 위해 특징 수준 융합에 초점을 맞춘다.
• 공동 학습 중에 사용하는 다양한 샘플링 전략—무작위, 번갈아가며, 작업별로, 동시에—을 테스트하여 안정성과 일반화 능력에 미치는 영향을 평가한다.
• t-SNE를 활용해 특징 분포를 시각화하여 공동 학습 시나리오에서 더 밀도 있고 잘 분리된 특징 클러스터가 생성됨을 확인한다.

실험 결과

연구 질문

• RQ1 FAS 및 얼굴 위조 탐지 작업을 공동으로 학습할 경우, 별도 학습 대비 다양한 공격 유형에 대해 일반화 능력이 향상되는가?
• RQ2 시각적 외관과 rPPG 신호의 다중 모달 융합이 고화질 스푸핑 공격 상황에서 탐지 성능에 어떤 영향을 미치는가?
• RQ3 다중 작업 학습 프레임워크 내에서 외관 및 rPPG 특징을 융합하는 데 최적의 전략은 무엇인가?
• RQ4 공동 학습 중 다양한 샘플링 전략이 모델의 안정성과 교차 도메인 일반화에 어떤 영향을 미치는가?
• RQ5 유사한 얼굴 분석 작업(예: 성별, 인종, 표정 등)에서 유도된 공유 표현이 공동 얼굴 공격 탐지에 얼마나 기여하는가?

주요 결과

• FAS 및 얼굴 위조 탐지 작업을 공동으로 학습함으로써 고화질 3D 마스크 및 딥페이크와 같은 새로운 공격 유형에 대해 일반화 능력이 크게 향상된다.
• 공유 백본(ResNet)과 공유된 첫 8개의 ViT 블록을 사용한 공동 학습에서 최고의 성능를 기록했으며, 각 작업에 대해 별도의 헤드를 사용했다.
• 두 작업의 미니배치를 무작위로 샘플링한 전략이 번갈아가며 또는 작업별로 학습하는 전략보다 성능이 뛰어났다. 후자의 경우 갈등하는 지식 전이로 인해 예측이 불안정해졌다.
• 가중치가 부여된 배치 정규화 및 레이어 정규화 전략이 모달 간 편향을 효과적으로 완화하고 외관 및 rPPG 특징 간 융합 효율성을 향상시켰다.
• t-SNE 시각화 결과, 공동 학습이 더 밀도 있고 잘 분리된 특징 클러스터를 생성함을 확인하여, 분류 능력과 일반화 능력 향상이 확인되었다.
• 두 작업에서 정상 샘플만을 사용한 공동 학습도 교차 테스트 성능을 향상시켰으며, 정상 데이터가 더 쉽게 확보 가능한 실세계 환경에서의 실용성도 입증되었다.