[논문 리뷰] Vulnerability Analysis of Face Morphing Attacks from Landmarks and Generative Adversarial Networks

Eklavya Sarkar, Pavel Korshunov외 2명|arXiv (Cornell University)|2020. 12. 09.

Face recognition and analysis인용 수 33

한 줄 요약

본 논문은 랜드마크 기반 도구와 StyleGAN2를 이용해 공개 모핑 데이터셋을 생성한 다음, 이러한 모핑에 대한 현시대 최첨단 얼굴 인식기(FaceNet, ArcFace, VGG-Face)의 취약성을 평가하고, GAN 기반 모핑은 아직 큰 위협이 되지 않으며, 더 정확한 FR이 훨씬 더 취약한 경향이 있음을 발견한다.

ABSTRACT

Morphing attacks is a threat to biometric systems where the biometric reference in an identity document can be altered. This form of attack presents an important issue in applications relying on identity documents such as border security or access control. Research in face morphing attack detection is developing rapidly, however very few datasets with several forms of attacks are publicly available. This paper bridges this gap by providing a new dataset with four different types of morphing attacks, based on OpenCV, FaceMorpher, WebMorph and a generative adversarial network (StyleGAN), generated with original face images from three public face datasets. We also conduct extensive experiments to assess the vulnerability of the state-of-the-art face recognition systems, notably FaceNet, VGG-Face, and ArcFace. The experiments demonstrate that VGG-Face, while being less accurate face recognition system compared to FaceNet, is also less vulnerable to morphing attacks. Also, we observed that na\\"ive morphs generated with a StyleGAN do not pose a significant threat.

연구 동기 및 목표

• OpenCV, FaceMorpher, WebMorph, StyleGAN2에서 다양한 모핑된 데이터셋을 제공하여 공개적으로 이용 가능한 모핑 공격 데이터의 공백을 채운다.
• 현 시점의 최첨단 얼굴 인식 시스템이 다양한 모핑 공격에 대해 어떻게 작동하는지 평가한다.
• 여러 공개 얼굴 데이터셋에서 랜드마크 기반 모핑과 GAN 기반 모핑을 비교한다.

제안 방법

• FERET, FRGCv2, FRLL 데이터셋의 순수 본검 얼굴을 대상으로 네 가지 도구(OpenCV, FaceMorpher, WebMorph, StyleGAN2)로 모핑 이미지를 생성한다.
• AMSL Face Morph Image 데이터셋에 추가 모핑을 확장한다.
• Embedding 벡터의 코사인 유사도를 이용해 사전 학습된 FR 시스템(FaceNet, ArcFace, VGG-Face)의 취약성을 평가한다.
• 강건성 분석을 위해 고전적 기준선(Gabor jet, ISV)과 비교한다.
• 모핑 생성 및 취약성 평가를 재현하기 위한 오픈 소스 코드와 스크립트를 제공한다.

실험 결과

연구 질문

• RQ1 다양한 모핑 기법(랜드마크 기반 vs GAN 기반)이 현대 얼굴 인식 시스템의 취약성에 어떤 영향을 미치는가?
• RQ2 더 높은 정확도의 FR 시스템이 데이터셋 전반에서 모핑 공격에 더 취약한가 아니면 덜 취약한가?
• RQ3 GAN 기반 모핑, 특히 StyleGAN2가 전통적인 모핑 도구에 비해 실질적인 위협이 되는가?
• RQ4 모핑 공격 취약성 평가 및 재현에 효과적인 공개 자원과 파이프라인은 무엇인가요?

주요 결과

• GAN 기반 모핑은 StyleGAN2로 생성되며 현재 최첨단 FR 시스템에 상당한 위협을 주지 않는다.
• 더 정확한 얼굴 인식 시스템(FaceNet 등)이 덜 정확한 시스템(VGG-Face 등)보다 모핑 공격에 더 취약할 수 있다.
• 랜드마크 기반 모핑은 GAN 기반 모핑과 달리 FR 취약성에 차별적으로 영향을 주는 눈에 띄는 인공물을 도입한다.
• 공개 데이터셋과 오픈 소스 파이프라인은 FERET, FRGCv2, FRLL 등 여러 데이터셋에 걸친 모핑 공격의 재현 가능 평가를 가능하게 한다.
• StyleGAN2 모핑은 현실적일 수 있지만, 정체성 손실(identity loss)을 유지하는 것이 미래 연구에서 위협 가능성을 높일 수 있다.