[논문 리뷰] Face Morphing Attack Detection Using Privacy-Aware Training Data

Marija Ivanovska, Andrej Kronovšek외 3명|arXiv (Cornell University)|2022. 07. 02.

Face recognition and analysis인용 수 5

한 줄 요약

이 논문은 실제 인간의 얼굴 데이터셋에서 발생하는 개인정보 문제를 해결하기 위해, 존재하지 않는 개인의 합성 얼굴 이미지(StyleGAN2를 통해 생성)만을 사용하여 얼굴 모핑 공격 탐지(MAD) 모델을 훈련시키는 방법을 제안한다. SMDD 합성 데이터셋으로 훈련된 Xception 및 HRNet 모델은 뛰어난 일반화 성능을 보이며, Xception 모델은 FRLL-Morphs에서 3.26%의 EER을 기록한다. 이는 개인정보를 고려한 합성 데이터만으로도 실제 인간의 데이터 없이도 효과적인 실세계 공격 탐지를 가능하게 한다는 것을 보여준다.

ABSTRACT

Images of morphed faces pose a serious threat to face recognition--based security systems, as they can be used to illegally verify the identity of multiple people with a single morphed image. Modern detection algorithms learn to identify such morphing attacks using authentic images of real individuals. This approach raises various privacy concerns and limits the amount of publicly available training data. In this paper, we explore the efficacy of detection algorithms that are trained only on faces of non--existing people and their respective morphs. To this end, two dedicated algorithms are trained with synthetic data and then evaluated on three real-world datasets, i.e.: FRLL-Morphs, FERET-Morphs and FRGC-Morphs. Our results show that synthetic facial images can be successfully employed for the training process of the detection algorithms and generalize well to real-world scenarios.

연구 동기 및 목표

• 실제 인간의 얼굴 이미지를 사용하는 얼굴 모핑 공격 탐지(MAD) 모델 훈련에서 발생하는 개인정보 문제를 해결하기 위해.
• 존재하지 않는 개인의 합성 얼굴이 강력한 MAD 모델을 효과적으로 훈련시킬 수 있는지 조사하기 위해.
• 이러한 모델이 다양한 실세계 모핑 얼굴 데이터셋에 대해 얼마나 잘 일반화되는지 평가하기 위해.
• 개인정보를 고려한 합성 데이터가 실제 인간의 데이터를 대체함에도 불구하고 탐지 정확도를 유지할 수 있는지 입증하기 위해.

제안 방법

• 존재하지 않는 사람의 합성 얼굴 이미지는 SMDD 데이터셋에서 StyleGAN2를 사용하여 생성되었다.
• 모핑 얼굴 이미지는 OpenCV의 모핑 기법을 사용하여 합성 얼굴 쌍을 조합함으로써 생성되었다.
• Xception 및 HRNet이라는 두 가지 딥러닝 모델이 합성 모핑 및 정상 이미지에서부터 끌어내린 특징을 기반으로 처음부터 훈련되었다.
• Xception 및 HRNet의 특징 추출 후, 이중 분류를 위한 두 층의 완전 연결 헤드를 사용하였다.
• 모델 훈련은 Adam 옵timizer를 사용하였으며, 기본 학습률은 0.0001, 배치 크기는 16로 설정하고 30 에포크 동안 진행되었다.
• 모델 선택은 검증 정확도 기반으로 이루어졌으며, 각 데이터셋에 대해 성능이 가장 뛰어난 가중치가 저장되었다.

실험 결과

연구 질문

• RQ1 존재하지 않는 개인의 합성 얼굴만을 사용하여 얼굴 모핑 공격 탐지 모델을 효과적으로 훈련시킬 수 있는가?
• RQ2 실제 인간 데이터로 훈련된 모델과 비교해, 이러한 모델은 실세계 모핑 얼굴 데이터셋에 얼마나 잘 일반화되는가?
• RQ3 제한된 합성 데이터로 훈련된 경우, 모델 아키텍처(예: Xception 대비 HRNet)가 탐지 성능에 어떤 영향을 미치는가?
• RQ4 OpenCV 하나의 모핑 기법으로만 훈련된 모델들이 다른 방법(예: AMSL, Webmorph)으로 생성된 모핑에 일반화되는가?
• RQ5 개인정보 보호를 고려한 합성 데이터가 실제 인간 얼굴 데이터를 대체하면서도 경쟁력 있는 탐지 성능을 달성할 수 있는가?

주요 결과

• Xception는 FRLL-Morphs 데이터셋에서 3.26%의 Equal Error Rate(EER)를 기록하여 전체적으로 가장 뛰어난 성능을 보였다.
• HRNet은 FERET-Morphs와 FRGC-Morphs에서 각각 8.49%와 10.89%의 EER을 기록하여 강력한 성능을 보였지만, FRLL-Morphs에서는 성능이 떨어져 13.73%의 EER을 기록했다.
• ROC 곡선 분석을 통해 Xception 모델이 다양한 모핑 기법에 대해 가장 우수한 일반화 성능를 보였다.
• 기준 모델인 MixFaceNet-MAD는 FERET-Morphs와 FRGC-Morphs에서 Xception 및 HRNet보다 성능이 열 劣하였지만, FRLL-Morphs에서는 HRNet를 약간 뛰어넘는 성능을 보였다.
• 단일 모핑 기법(OpenCV)으로만 훈련된 모델들이 다른 모핑 기법으로 생성된 모핑에 대해서도 합리적인 일반화 성능를 보였지만, 성능은 다양하게 나타났다.
• 결과적으로 합성 데이터만으로도 효과적인 MAD 모델을 훈련시킬 수 있으며, 이는 윤리적 및 법적 문제를 완화하기 위해 개인정보를 고려한 학습 데이터를 활용할 수 있음을 뒷받침한다.