[논문 리뷰] Physics-Guided Spoof Trace Disentanglement for Generic Face Anti-Spoofing

Yaojie Liu, Xiaoming Liu|arXiv (Cornell University)|2020. 12. 09.

Biometric Identification and Security참고 문헌 62인용 수 9

한 줄 요약

이 논문은 물리학에 기반한 분리 프레임워크인 PhySTD를 제안하며, 모리에 패atters, 색상 왜곡, 인위적 텍스처와 같은 가짜 흔적들을 추가 및 인painting 과정으로 모델링함으로써 가짜 얼굴에서 가짜 흔적들을 분리한다. 이 방법은 주파수 대역에 걸쳐 흔적을 분리하고, 고해상도의 살아있는 얼굴 복원과 현실적인 가짜 생성을 가능하게 하며, 알려진, 알려지지 않은, 오픈 세트 반가짜 인식 벤치마크에서 최고 성능을 달성한다. 결정은 해석 가능하고 시각적으로 기반한 것이다.

ABSTRACT

Prior studies show that the key to face anti-spoofing lies in the subtle image pattern, termed "spoof trace", e.g., color distortion, 3D mask edge, Moire pattern, and many others. Designing a generic face anti-spoofing model to estimate those spoof traces can improve not only the generalization of the spoof detection, but also the interpretability of the model's decision. Yet, this is a challenging task due to the diversity of spoof types and the lack of ground truth in spoof traces. In this work, we design a novel adversarial learning framework to disentangle spoof faces into the spoof traces and the live counterparts. Guided by physical properties, the spoof generation is represented as a combination of additive process and inpainting process. Additive process describes spoofing as spoof material introducing extra patterns (e.g., moire pattern), where the live counterpart can be recovered by removing those patterns. Inpainting process describes spoofing as spoof material fully covering certain regions, where the live counterpart of those regions has to be "guessed". We use 3 additive components and 1 inpainting component to represent traces at different frequency bands. The disentangled spoof traces can be utilized to synthesize realistic new spoof faces after proper geometric correction, and the synthesized spoof can be used for training and improve the generalization of spoof detection. Our approach demonstrates superior spoof detection performance on 3 testing scenarios: known attacks, unknown attacks, and open-set attacks. Meanwhile, it provides a visually-convincing estimation of the spoof traces. Source code and pre-trained models will be publicly available upon publication.

연구 동기 및 목표

• 다양한 유형의 가짜 공격, 특히 미리 보지 못한 공격을 만났을 때 일반화 능력이 떨어지는 얼굴 반가짜 인식 모델의 문제를 해결하기 위해.
• 살아있는 얼굴과 가짜 얼굴를 구분하는 데 기여하는 정확한 시각적 패턴(이하 '가짜 흔적')을 추정함으로써 모델의 해석 가능성을 향상시키기 위해.
• 가짜 흔적의 진짜 레이블이 없을 경우를 대비해 물리적 사전 지식을 활용한 약한 지도 학습 기반의 분리 프레임워크를 개발함으로써 이 문제를 해결하기 위해.
• 기하 보정을 통해 새로운 신원에 흔적을 전달함으로써 데이터 증강을 위한 현실적인 가짜 생성을 가능하게 하기 위해.

제안 방법

• 가짜 공격의 물리적 성질을 기반으로, 가짜 공격를 추가 과정(예: 모리에 패턴, 색상 왜곡)과 인페인팅 과정(예: 마스크 또는 메이크업으로 전체 커버리지)의 조합으로 모델링한다.
• 입력된 얼굴에서 가짜 흔적을 분리하기 위해 저주파, 중주파, 고주파의 세 가지 주파수 대역 전용 추가 성분과 하나의 인페인팅 성분을 사용한다.
• 합성 과정에서 새로운 살아있는 얼굴에 가짜 흔적을 전달할 때 기하학적 불일치를 보정하기 위해 3D 와핑 레이어를 도입한다.
• 가짜 흔적을 제거하면서도 정체성을 유지하는 방식으로 살아있는 얼굴을 재구성하도록 유도하는 분리 손실과 함께 adversarial 학습을 적용한다.
• 분리된 성분들을 활용해 실제 살아있는 얼굴에 흔적을 적용함으로써 새로운 가짜 얼굴을 합성함으로써, 훈련을 위한 데이터 다양성을 향상시킨다.
• 진짜 레이블이 없는 상태에서 가짜/살아있는 라벨만을 사용하는 약한 지도 학습 방식으로 모델을 훈련시킨다.

실험 결과

연구 질문

• RQ1 진짜 레이블이 없는 조건에서, 모리에 패턴, 색상 왜곡, 인위적 텍스처와 같은 다양한 가짜 흔적들을 분리할 수 있는가?
• RQ2 분리된 가짜 흔적을 활용해 기하학적 정확도와 함께 고해상도의 원래 살아있는 얼굴을 재구성할 수 있는가?
• RQ3 분리된 흔적을 새로운 신원에 전달하여 데이터 증강을 위한 현실적이고 다양한 가짜 샘플을 생성할 수 있는가?
• RQ4 이 분리 프레임워크는 알려진, 알려지지 않은, 오픈 세트 반가짜 인식 시나리오에서 일반화 능력을 향상시키는가?
• RQ5 모델의 결정을 특정한 가짜 흔적들이 예측에 기여한 이유를 시각적으로 확인함으로써 해석할 수 있는가?

주요 결과

• 제안된 PhySTD 프레임워크는 알려진, 알려지지 않은, 오픈 세트 반가짜 인식 벤치마크에서 최고 성능을 달성하며, 다양한 유형의 가짜 공격에 걸쳐 뛰어난 일반화 능력을 입증한다.
• 분리된 가짜 흔적들은 고해상도의 살아있는 얼굴 재구성에 기여하며, t-SNE 시각화 결과 추가 흔적(B, C, T)의 특징들이 공격 유형과 의미 체계에 따라 잘 군집되어 있음을 확인한다.
• 인페인팅 성분(P, IP)은 의미 있는 공간 분포를 보이며, 부분적, 메이크업, 3D 마스크 공격에서 더 높은 강도를 나타내어 분리의 물리적 타당성을 검증한다.
• 재구성 과정에서 흔적 성분을 점진적으로 제거함으로써 살아있는 얼굴이 점차 정교해지며, 저주파 흔적은 색상과 노출 문제를 수정하고, 고주파 흔적은 격자 무늬와 텍스처 잡음 등을 제거한다.
• 3D 와핑 레이어는 가짜 합성 과정에서 기하학적 불일치를 성공적으로 보정하여, 잡음 없이 새로운 신원에 흔적을 정확히 전달한다.
• 합성된 가짜 샘플들은 시각적으로 신뢰할 수 있으며, 훈련 데이터 증강에 활용 가능하여 반가짜 인식 모델의 강건성과 일반화 능력을 향상시킨다.