[논문 리뷰] On Disentangling Spoof Trace for Generic Face Anti-Spoofing

Yaojie Liu, Joel Stehouwer외 1명|arXiv (Cornell University)|2020. 07. 17.

Biometric Identification and Security참고 문헌 49인용 수 12

한 줄 요약

이 논문은 일반적인 얼굴 위조 방지 기능을 위해 위조 흔적(예: 색상 왜곡, 모리 레 패턴, 반사광 등)을 명시적으로 추출하고 분리하는 새로운 적대적 학습 프레임워크인 위조 추적 분리 네트워크(Spoof Trace Disentanglement Network, STDN)를 제안한다. 이러한 흔적을 계층적 다중 척도 성분으로 분리하고, 이를 통해 살아있는 얼굴을 재구성하고 현실적인 위조 샘플을 합성함으로써, 본문에서 다루는 위조 유형과 본문에 포함되지 않은 위조 유형 모두에서 최신 기술 수준의 성능을 달성하였으며, Oulu-NPU 프로토콜 1에서 ACER가 1.1%로 나타났다.

ABSTRACT

Prior studies show that the key to face anti-spoofing lies in the subtle image pattern, termed "spoof trace", e.g., color distortion, 3D mask edge, Moire pattern, and many others. Designing a generic anti-spoofing model to estimate those spoof traces can improve not only the generalization of the spoof detection, but also the interpretability of the model's decision. Yet, this is a challenging task due to the diversity of spoof types and the lack of ground truth in spoof traces. This work designs a novel adversarial learning framework to disentangle the spoof traces from input faces as a hierarchical combination of patterns at multiple scales. With the disentangled spoof traces, we unveil the live counterpart of the original spoof face, and further synthesize realistic new spoof faces after a proper geometric correction. Our method demonstrates superior spoof detection performance on both seen and unseen spoof scenarios while providing visually convincing estimation of spoof traces. Code is available at https://github.com/yaojieliu/ECCV20-STDN.

연구 동기 및 목표

• 기존의 얼굴 위조 방지 모델에서의 해석 가능성 부족과 일반화 능력 부족 문제를 해결하기 위해, 잠재적인 위조 흔적을 명시적으로 식별하고자 한다.
• 다양한 위조 유형과 위조 흔적에 대한 진정한 지도 데이터가 없는 문제를 계층적 표현 학습 프레임워크를 통해 해결하고자 한다.
• 분리된 흔적을 사용하여 현실적인 위조 샘플을 합성함으로써 데이터 증강 및 향상된 학습을 가능하게 하고자 한다.
• 실제로 살아있는 얼굴와 위조된 얼굴를 구분하는 데 사용되는 위조 패턴을 추정하고 시각화함으로써 모델 결정의 시각적 설명을 제공하고자 한다.

제안 방법

• 생성자(generator)가 위조 흔적을 네 가지 계층적 성분으로 분리하는 GAN 기반 아키텍처를 설계함: 공간 패턴(s), 배경(b), 색상 왜곡(C), 텍스처(T).
• 고해상도 재구성과 현실적인 위조 얼굴 합성을 보장하기 위해 다중 척도 판별기(discriminators)를 활용함.
• 합성 과정에서 원본 얼굴에서 대상 얼굴로 위조 흔적을 전달할 때 기하학적 불일치를 보정하기 위해 3D 왜곡 레이어를 도입함.
• 세 단계 학습 전략을 적용함: 첫째, 생성자에 대해 적대적 손실로 학습; 둘째, 인지적 손실과 재구성 손실을 통해 분리된 성분을 정교화; 셋째, 분리된 흔적을 지도로 사용하여 합성된 위조 샘플을 사용해 생성자를 미세 조정함.
• 분리된 위조 흔적을 가짜 지도(true pseudo-ground truth)로 활용하여 새로운 위조 샘플을 합성함으로써 데이터 다양성과 모델의 강건성을 향상시킴.
• 재구성된 살아있는 얼굴와 합성된 위조 이미지의 정밀도를 향상시키기 위해 픽셀 수준의 재구성 손실(L_P)을 적용함.

실험 결과

연구 질문

• RQ1 지도 데이터 없이도 딥 러닝 모델이 입력 얼굴에서 다양한 위조 흔적(예: 모리 레 패턴, 색상 왜곡, 인위적 메이크업 등)을 효과적으로 분리할 수 있는가?
• RQ2 위조 흔적을 분리함으로써 학습 분포를 초월한 새로운 위조 유형에 대한 일반화 능력이 향상되는가?
• RQ3 분리된 위조 흔적을 사용하여 원래의 살아있는 얼굴을 재구성하고 새로운 현실적인 위조 샘플을 합성할 수 있는가?
• RQ4 제안된 3D 왜곡 레이어가 얼굴 간 위조 흔적 전달 시 기하학적 일관성을 어떻게 향상시키는가?
• RQ5 분리된 위조 흔적이 얼마나 모델의 해석 가능성과 위조 방지 결정에 대한 시각적 근거를 강화하는가?

주요 결과

• 제안된 STDN은 Oulu-NPU 프로토콜 1에서 ACER가 1.1%로 기존 방법들을 능가하며, 본문에 포함된 유형과 포함되지 않은 유형 모두에서 최신 기술 수준의 일반화 성능을 보였다.
• 절단 실험을 통해 전체 STDN(분리된 성분 s, b, C, T 및 3D 왜곡 포함)이 기준 모델의 ACER 2.6%에서 1.1%로 향상되었으며, 특히 고품질의 합성 위조 샘플 사용이 가장 큰 기여를 했다.
• 분리된 위조 흔적은 시각적으로 신뢰할 수 있으며, 주요 위조 공격 특징을 정확히 특정함: 재생 공격에서의 모리 레 패턴, 인쇄 공격에서의 색상 왜곡, 인위적 메이크업 특징.
• 3D 왜곡 레이어는 위조 합성 과정에서 기하학적 불일치를 크게 감소시켜, 신규 신원으로의 위조 흔적 전달이 정확하게 이루어지며 신원 泄露가 발생하지 않도록 했다.
• 모델은 위조 입력에서 살아있는 얼굴을 성공적으로 재구성하였으며, 이는 분리된 흔적이 위조와 살아있는 표현 간의 핵심 차이를 잘 포착하고 있음을 보여줌.
• 분리된 위조 흔적은 충분한 분류 정보를 포함하고 있으며, 이를 기반으로 한 분류 정확도가 3종류 분류 시 86.3%, 5종류 분류 시 80.6%로 나타나, 위조 매체 식별에 실용적임을 입증함.