[논문 리뷰] Style Transfer Applied to Face Liveness Detection with User-Centered Models

A R Israel Laurensi, Luciana Trinkaus Menon외 3명|arXiv (Cornell University)|2019. 07. 16.

Face recognition and analysis참고 문헌 27인용 수 4

한 줄 요약

이 논문은 VGG19를 사용하여 스타일 전이 방식으로 스포프 이미지를 생성함으로써 훈련 데이터를 증강하고, 개인별 생체 인식 검증을 가능하게 하는 사용자 중심의 얼굴 위조 방지 모델(FAS-UCM)을 제안한다. 이 방법은 SiW 데이터베이스에서 평균 분류 오류율 0.22를 기록하며, 실제 스포프 데이터가 제한된 상황에서도 개인 맞춤형 위조 탐지의 가능성을 입증한다.

ABSTRACT

This paper proposes a face anti-spoofing user-centered model (FAS-UCM). The major difficulty, in this case, is obtaining fraudulent images from all users to train the models. To overcome this problem, the proposed method is divided in three main parts: generation of new spoof images, based on style transfer and spoof image representation models; training of a Convolutional Neural Network (CNN) for liveness detection; evaluation of the live and spoof testing images for each subject. The generalization of the CNN to perform style transfer has shown promising qualitative results. Preliminary results have shown that the proposed method is capable of distinguishing between live and spoof images on the SiW database, with an average classification error rate of 0.22.

연구 동기 및 목표

• 사용자별 생체 인식 검증 모델 훈련을 위한 스포프 이미지 데이터 부족 문제를 해결한다.
• 실제 환경에서 모든 사용자로부터 스포프 이미지를 수집하는 데 어려움이 있음을 고려해 이를 해결한다.
• 실제 얼굴 이미지에서 스타일 전이 기법을 활용해 현실적인 스포프 이미지를 합성함으로써 데이터 증강 전략을 개발한다.
• 개인별로 훈련된 합성곱 신경망(CNNs)을 통해 일반화 능력과 검출 정확도를 향상시킨다.
• ACER, FAR, FRR와 같은 표준 지표를 사용해 SiW 데이터베이스에서 사용자 중심 모델의 성능을 평가한다.

제안 방법

• Gatys 등이 제안한 VGG19 기반 스타일 전이 방법을 사용하여 스포프 이미지의 스타일을 실제 얼굴 이미지에 전이함으로써 합성 스포프 샘플을 생성한다.
• SiW 데이터베이스에서 대표적인 스포프 이미지를 선별하여 전이 작업의 스타일 참조로 활용한다.
• 실제 이미지와 생성된 스포프 이미지를 조합한 개인별 데이터로 Spoof-ModNet과 MobileNetV2 두 가지 CNN 아키텍처를 훈련시킨다.
• 각 사용자의 모델을 독립적으로 훈련 및 테스트하는 사용자 중심 훈련 프로토콜을 적용한다.
• 스포프 아티팩트(예: 모리레 패atters)를 전이하면서도 얼굴 정체성을 유지하기 위해 지각적 손실과 콘텐츠 손실을 사용한다.
• ACER, FAR, FRR, F1 스코어를 사용해 모델을 평가하며, 테스트는 각 사용자별로 수행하여 실제 환경 구현을 시뮬레이션한다.

실험 결과

연구 질문

• RQ1 스타일 전이 기법이 실제 이미지에서 현실적인 스포프 얼굴 이미지를 효과적으로 생성하여 생체 인식 검증을 위한 훈련 데이터 증강에 기여할 수 있는가?
• RQ2 합성 스포프 이미지를 사용한 사용자 중심 훈련이 얼굴 생체 인식 검증 모델의 성능에 어떤 영향을 미치는가?
• RQ3 다른 CNN 아키텍처(Spoof-ModNet 대비 MobileNetV2)가 개인별 생체 인식 검증의 정확도와 강건성에 어떤 영향을 미치는가?
• RQ4 실제 스포프 데이터가 제한된 상황에서 제안된 방법이 사용자 간으로 얼마나 잘 일반화되는가?
• RQ5 스타일 전이 기반 데이터 증강이 사용자 중심 얼굴 생체 인식 검증에서 랜덤 분류보다 성능이 뛰어나게 작용하는가?

주요 결과

• 제안된 Spoof-ModNet은 SiW 데이터베이스에서 평균 분류 오류율(ACER) 0.22를 기록했으며, 이는 MobileNetV2의 ACER 0.26보다 뛰어난 성능이다.
• Spo프-ModNet은 75%의 정확도, 44%의 FAR, 1%의 FRR, 78%의 F1 스코어를 기록하여 살아있는 얼굴과 스포프 이미지를 효과적으로 구분함을 시사한다.
• Spoof-ModNet을 사용한 경우 50% 이상의 사용자가 70% 이상의 정확도를 달성했으며, MobileNetV2는 더 일관되지만 낮은 성능을 보였고, 50%의 사용자가 정확도 65.07%에서 76.28% 사이에 머물렀다.
• Spoof-ModNet의 최소 정확도는 34.69%였고, 최대 정확도는 99.49%였으며, 이는 사용자 간 성능 변동성이 크지만 높은 최고 성능을 보임을 의미한다.
• 최신 기술 대비 더 높은 ACER를 기록했음에도 불구하고, 제안된 방법은 랜덤 분류를 크게 초월하며 개인 맞춤형 생체 인식 검증에 실현 가능함을 입증한다.
• 이 방법은 스타일 전이 기법이 사용자 중심 모델 훈련 시 일반화 능력을 향상시키는 데 효과적인 현실적인 스포프 이미지를 생성할 수 있음을 보여준다.