[논문 리뷰] Multi-domain Learning for Updating Face Anti-spoofing Models

Xiao Guo, Yaojie Liu외 2명|arXiv (Cornell University)|2022. 08. 23.

Biometric Identification and Security인용 수 5

한 줄 요약

이 논문은 원본 도메인 성능을 유지하면서 타겟 도메인 데이터만을 사용하여 사전 훈련된 FAS 모델을 업데이트하는 새로운 다중 도메인 얼굴 위조 방지(MD-FAS) 프레임워크를 제안한다. 고해상도 픽셀 단위의 위조 흔적을 모델 응답의 대체 지표로 생성하는 스푸프 영역 추정기(SRE)와 다양한 FAS 모델에 원활하게 통합할 수 있는 FAS-워퍼 아키텍처를 도입하여, 네 가지 다른 평가 프로토콜을 가진 새로운 벤치마크에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

In this work, we study multi-domain learning for face anti-spoofing(MD-FAS), where a pre-trained FAS model needs to be updated to perform equally well on both source and target domains while only using target domain data for updating. We present a new model for MD-FAS, which addresses the forgetting issue when learning new domain data, while possessing a high level of adaptability. First, we devise a simple yet effective module, called spoof region estimator(SRE), to identify spoof traces in the spoof image. Such spoof traces reflect the source pre-trained model's responses that help upgraded models combat catastrophic forgetting during updating. Unlike prior works that estimate spoof traces which generate multiple outputs or a low-resolution binary mask, SRE produces one single, detailed pixel-wise estimate in an unsupervised manner. Secondly, we propose a novel framework, named FAS-wrapper, which transfers knowledge from the pre-trained models and seamlessly integrates with different FAS models. Lastly, to help the community further advance MD-FAS, we construct a new benchmark based on SIW, SIW-Mv2 and Oulu-NPU, and introduce four distinct protocols for evaluation, where source and target domains are different in terms of spoof type, age, ethnicity, and illumination. Our proposed method achieves superior performance on the MD-FAS benchmark than previous methods. Our code and newly curated SIW-Mv2 are publicly available.

연구 동기 및 목표

• 개인정보 보호 제약으로 인해 원본 도메인 데이터를 확보할 수 없을 때, 새로운 타겟 도메인에 대해 사전 훈련된 얼굴 위조 방지(FAS) 모델을 업데이트하는 데 도전하는 것.
• 로짓이나 활성화 맵에 의존하지 않고 사전 훈련된 모델의 의사결정 패턴을 유지함으로써 모델 업데이트 중 치명적인 기억 상실을 완화하는 것.
• 다양한 FAS 아키텍처와 손실 함수에 쉽게 통합할 수 있는 모델에 종속되지 않는 프레임워크를 개발하는 것.
• 위조 유형, 연령, 민족, 조명 등 다양한 도메인 이동을 반영한 새로운 MD-FAS 벤치마크를 구축하는 것.
• 실제 운영 환경의 요구사항을 반영하여 원본 도메인과 타겟 도메인 모두에서 모델을 종합적으로 평가하는 것.

제안 방법

• 입력 이미지의 위조 영역을 나타내는 단일 고해상도 픽셀 단위 이진 마스크를 생성하는 경량이며 비지도 학습 모듈인 스푸프 영역 추정기(SRE)를 제안한다.
• SRE 출력을 사전 훈련된 모델의 응답에 대한 대체 지표로 사용하여 치명적인 기억 상실을 완화하며, 로짓이나 grad-CAM과 같은 덜 정밀한 방법을 대체한다.
• SRE와 지식 정착 요소를 포함한 FAS-워퍼 프레임워크를 도입하여, 최소한의 아키텍처 변경으로도 어떤 FAS 모델에나 원활하게 통합할 수 있도록 한다.
• 스푸프 쿠 추정(SCE) 레이어와 다중 해상도 특징 추출기(MsFE)로 구성된 일반화된 FAS 모델 공식화를 사용하여 모델에 종속되지 않는 적응을 가능하게 한다.
• SIW, SIW-Mv2, Oulu-NPU 기반으로 새로운 벤치마크를 설계하였으며, 실제 도메인 이동을 시뮬레이션하는 네 가지 다른 평가 프로토콜을 포함한다.
• SRE가 생성한 위조 흔적을 소프트 레이블로 사용하여 사전 훈련된 모델에서 업데이트된 모델로 지식 정착을 수행한다.

실험 결과

연구 질문

• RQ1 원본 도메인 데이터에 접근할 수 없을 때, 타겟 도메인 데이터만을 사용하여 사전 훈련된 FAS 모델을 효과적으로 업데이트할 수 있는가?
• RQ2 로짓이나 활성화 맵에 의존하지 않고 고해상도 픽셀 단위로 정확하고 효율적으로 위조 흔적을 추정할 수 있는가?
• RQ3 다양한 FAS 아키텍처와 손실 함수에 쉽게 통합할 수 있는 모델에 종속되지 않는 프레임워크를 설계할 수 있는가?
• RQ4 원본 데이터가 없는 조건에서 기존의 기억 보존 및 도메인 적응 기법과 비교해 볼 때, 제안된 방법은 어떻게 성능을 발휘하는가?
• RQ5 위조 유형, 연령, 민족, 조명 등의 다양한 도메인 이동이 업데이트된 FAS 모델의 일반화 능력에 어떤 영향을 미치는가?

주요 결과

• 제안된 MD-FAS 프레임워크는 새로운 FASMD 벤치마크에서 최신 기술 수준의 성능을 달성하여, 원본 도메인과 타겟 도메인 모두에서의 종합 평가에서 이전 방법들을 압도한다.
• SRE 모듈은 고해상도의 세밀한 이진 마스크를 생성하여, 저해상도 또는 다중 흔적 접근 방식에 비해 위조 영역의 정밀도를 크게 향상시킨다.
• FAS-워퍼 프레임워크는 다양한 FAS 모델에 원활하게 통합되며, 다양한 아키텍처와 손실 함수에 걸쳐 강력한 적응 능력을 보여준다.
• 원본 도메인 데이터에 접근하지 못하는 상황에서도 사전 훈련된 모델의 성능을 유지함으로써 모델 업데이트 중 치명적인 기억 상실을 효과적으로 완화한다.
• 네 가지 다른 평가 프로토콜을 가진 새로운 FASMD 벤치마크는 실제 도메인 이동 상황에서 기존 방법들 사이에 뚜렷한 성능 격차를 드러내며, 본 연구의 접근 방식의 필요성을 강조한다.
• 제거 분석 결과, 로짓이나 grad-CAM을 사용하는 것보다 SRE 기반 지식 정착이 타겟 도메인 적응 과정에서 원본 도메인 성능 유지를 더 효과적으로 달성함을 확인한다.