[논문 리뷰] Improving Face Anti-Spoofing by 3D Virtual Synthesis

Jianzhu Guo, Xiangyu Zhu외 4명|arXiv (Cornell University)|2019. 01. 02.

Biometric Identification and Security참고 문헌 45인용 수 6

한 줄 요약

이 논문은 인쇄된 사진을 3D 메ッシュ로 변환하고, 이를 굽히고 기울여 투영된 시점의 영상을 렌더링함으로써 대규모이고 현실적인 위조 얼굴 샘플을 생성하는 3D 가상 합성 기법을 제안한다. 데이터 밸런싱 전략과 결합하여 합성 데이터는 얼굴 위조 방지 성능을 크게 향상시키며, CASIA-MFSD, Replay-Attack에서 최고 성능을 기록하고 CASIA-RFS에서의 일반화 성능도 향상시킨다. 결과적으로 11.72%의 ACER와 91.68%의 Top-1 정확도를 달성한다.

ABSTRACT

Face anti-spoofing is crucial for the security of face recognition systems. Learning based methods especially deep learning based methods need large-scale training samples to reduce overfitting. However, acquiring spoof data is very expensive since the live faces should be re-printed and re-captured in many views. In this paper, we present a method to synthesize virtual spoof data in 3D space to alleviate this problem. Specifically, we consider a printed photo as a flat surface and mesh it into a 3D object, which is then randomly bent and rotated in 3D space. Afterward, the transformed 3D photo is rendered through perspective projection as a virtual sample. The synthetic virtual samples can significantly boost the anti-spoofing performance when combined with a proposed data balancing strategy. Our promising results open up new possibilities for advancing face anti-spoofing using cheap and large-scale synthetic data.

연구 동기 및 목표

• 얼굴 위조 방지 분야에서 실제 위조 얼굴 학습 데이터의 부족성과 높은 비용 문제를 해결하기 위해.
• 기존 데이터셋에서 미흡하게 다뤄지는 굽히기 및 기울인 위조 공격에 대한 모델 일반화 능력을 향상시키기 위해.
• 합성 위조 샘플을 활용하여 대규모·저비용의 딥 러닝 모델 학습을 가능하게 하기 위해.
• 실제와 합성 위조 샘플 간의 데이터 불균형 문제를 새로운 데이터 밸런싱 전략을 통해 완화하기 위해.
• 합성 데이터와 데이터 밸런싱 전략의 효과를 내부 및 외부 데이터베이스 간 일반화 성능 테스트를 통해 검증하기 위해.

제안 방법

• 인간의 얼굴 사진을 평면 표면로 간주하고 다각형 기하 구조로 이산화하여 3D 메시로 변환한다.
• 굽힘과 평면 외 회전을 포함한 무작위 3D 변환을 적용하여 현실적인 위조 공격 조건을 시뮬레이션한다.
• perspective 투영을 사용하여 변환된 3D 메시를 렌더링하여 다양한 시점에서의 합성 2D 위조 영상을 생성한다.
• 실제 생면 영상과 결합된 합성 위조 데이터로 딥 뉴럴 네트워크를 학습시키기 위해 클래스 불균형을 줄이기 위한 균형 잡힌 샘플링 전략을 적용한다.
• 다양한 자세 변화에 대한 일반화 능력을 향상시키기 위해 외부 생면 데이터(예: MultiPIE)를 통합한다.
• 이중 단계 학습 프로토콜을 사용한다: 먼저 균형 잡힌 샘플링을 적용한 합성 데이터로 학습하고, 이후 실제 데이터로 미세조정하여 강건성을 확보한다.

실험 결과

연구 질문

• RQ1 3D 가상 합성 기법이 딥 러닝 모델의 위조 방지 학습에 효과적으로 기여할 수 있는 현실적인 위조 얼굴 샘플을 생성할 수 있는가?
• RQ2 합성 데이터와 데이터 밸런싱 전략을 조합하면 굽힘 및 기울임 위조 공격과 같은 새로운 위조 공격에 대한 모델 일반화 능력이 향상되는가?
• RQ3 합성 데이터로 학습된 모델의 성능은 표준 벤치마크에서 기존 최고 성능 기법과 비교해 어떻게 되는가?
• RQ4 외부 생면 데이터의 추가가 합성 위조 데이터로 학습된 모델의 일반화 능력을 더욱 향상시킬 수 있는가?
• RQ5 제안된 방법이 굽히기 및 기울인 위조 샘플을 포함한 도전적인 테스트 세트인 CASIA-RFS에 잘 일반화되는가?

주요 결과

• CASIA-MFSD에서 제안된 방법은 2.22%의 EER과 1.67%의 HTER를 기록하여 이전의 모든 최고 성능 기법을 능가한다.
• Replay-Attack에서 방법은 0.25%의 EER과 0.63%의 HTER를 달성하여 기존 접근 방식을 크게 능가한다.
• CASIA-RFS에서의 외부 데이터베이스 테스트에서는 ACER를 11.72%로 낮추고 Top-1 정확도 91.68%를 달성하여 기준 모델 대비 Top-1 정확도에서 9.85% 향상되었다.
• 합성 데이터만 추가해도 CASIA-RFS에서 APCER가 20.96%에서 4.01%로 감소하여 강력한 위조 탐지 능력을 입증한다.
• 합성 데이터와 외부 생면 데이터(MultiPIE)의 조합은 BPCER를 50.23%에서 18.75%로 감소시켜 생면 분류 정확도를 크게 향상시킨다.
• 데이터 밸런싱 전략은 클래스 불균형 문제를 효과적으로 완화하여 대규모 합성 위조 데이터에서 안정적이고 뛰어난 학습을 가능하게 한다.