[논문 리뷰] Vulnerability of Face Recognition to Deep Morphing

Pavel Korshunov, Sébastien Marcel|arXiv (Cornell University)|2019. 10. 03.

Face recognition and analysis참고 문헌 22인용 수 13

한 줄 요약

이 논문은 최신 얼굴 인식 시스템인 VGG와 FaceNet이 GAN 기반의 딥모프 영상에 얼마나 취약한지 평가하며, 각각 85.62%와 95.00%의 위조 수용률(false acceptance rate)을 보임을 입증한다. 또한 DeepfakeTIMIT 데이터셋을 제안하고, 이미지 품질 지표 기반 검출에 SVM을 적용한 결과, 고품질 딥모프 영상에서 8.97%의 동등오류율(equal error rate, EER)을 기록하여 고도화된 검출 기법이 절실하게 필요하다는 점을 시사한다.

ABSTRACT

It is increasingly easy to automatically swap faces in images and video or morph two faces into one using generative adversarial networks (GANs). The high quality of the resulted deep-morph raises the question of how vulnerable the current face recognition systems are to such fake images and videos. It also calls for automated ways to detect these GAN-generated faces. In this paper, we present the publicly available dataset of the Deepfake videos with faces morphed with a GAN-based algorithm. To generate these videos, we used open source software based on GANs, and we emphasize that training and blending parameters can significantly impact the quality of the resulted videos. We show that the state of the art face recognition systems based on VGG and Facenet neural networks are vulnerable to the deep morph videos, with 85.62 and 95.00 false acceptance rates, respectively, which means methods for detecting these videos are necessary. We consider several baseline approaches for detecting deep morphs and find that the method based on visual quality metrics (often used in presentation attack detection domain) leads to the best performance with 8.97 equal error rate. Our experiments demonstrate that GAN-generated deep morph videos are challenging for both face recognition systems and existing detection methods, and the further development of deep morphing technologies will make it even more so.

연구 동기 및 목표

• 최신 기술의 얼굴 인식 시스템이 GAN 기반 딥모프 영상에 얼마나 취약한지 평가하기.
• 제안 공격 탐지 분야에서 기존의 검출 기법이 딥모프 영상 탐지에 얼마나 효과적인지 평가하기.
• 재현 가능하고 표준화된 연구 및 평가를 위해 공개 가능한 딥모프 영상 데이터셋 제공하기.
• 고품질 GAN 기반 얼굴 교체 영상가 현재의 얼굴 인식 시스템을 높은 성공률로 우회할 수 있음을 입증하기.
• 점점 더 현실적으로 구현되는 합성 미디어에 대비해 보다 강력한 검출 기법 개발의 필요성 제기하기.

제안 방법

• VidTIMIT 데이터셋에서 유사한 외모를 가진 16쌍의 개인을 대상으로 훈련된 오픈소스 GAN 기반 얼굴 교체 도구(faceswap-GAN)를 사용해 딥모프 영상을 생성함.
• 저품질(64×64)과 고품질(128×128) 두 가지 품질 수준을 생성하여 총 620개의 영상(각 품질 수준당 320개)을 확보함.
• 원본 오디오 트랙을 유지하여 얼굴 인식 및 검출에 영향을 주는 시각적 조작 효과를 분리해 분석함.
• 사전 훈련된 VGG 및 FaceNet 모델을 사용해 얼굴 인식 성능을 평가하며, 각각 fc7 및 버블넥트 레이어에서 특징을 추출하고 코사인 거리 기반 매칭을 수행함.
• 기본 검출 기법으로는 픽셀 + PCA + LDA, IQM + PCA + LDA, IQM + SVM을 적용하였으며, 129개의 이미지 품질 지표(예: 블러, SNR, 반사광)를 활용함.
• 보류된 테스트 세트에서 동등오류율(EER)과 10% FAR 기준의 FRR을 사용해 성능을 보고하였으며, 데이터셋 크기 제약으로 인해 개발 세트를 사용하지 않음.

실험 결과

연구 질문

• RQ1 최신 기술의 얼굴 인식 시스템(VGG 및 FaceNet)은 GAN 기반 딥모프 영상에 얼마나 취약한가?
• RQ2 기존의 제안 공격 탐지 기법은 딥모프 영상 탐지에 효과적으로 작용하는가?
• RQ3 GAN 기반 딥모프 영상의 품질(저품질 대 고품질)이 검출 성능에 어떤 영향을 미치는가?
• RQ4 이미지 품질 지표 기반 검출 시스템은 진짜 얼굴과 딥모프 영상을 얼마나 잘 구분하는가?
• RQ5 GAN 기반 얼굴의 현실성은 현재의 얼굴 인식 및 검출 파이프라인에 얼마나 도전적인가?

주요 결과

• VGG 기반 얼굴 인식은 고품질 딥모프 영상에서 85.62%의 위조 수용률(FAR)을 보이며 심각한 취약성을 드러냄.
• FaceNet 기반 인식은 고품질 딥모프 영상에서 95.00%의 더 높은 FAR를 기록하여, 더 고도화된 모델이라도 합성 얼굴에 대해 반드시 더 견고하지 않음을 시사함.
• IQM+SVM 검출 방법은 고품질 딥모프 영상에서 8.97%의 동등오류율(EER)을 기록하며 다른 기준 기반 방법보다 뛰어난 성능을 보임.
• IQM+SVM 방법은 고품질 딥모프 영상에서 10% FAR 기준 9.05%의 위조 거부률(FRR)을 기록하여, 높은 현실성에도 불구하고 강력한 검출 능력을 보임.
• 검출 시스템의 성능은 고품질 딥모프 영상에서 크게 저하되었으며, 이는未래 GAN 기술 발전이 기존 검출 기법에 더욱 도전적으로 작용할 것임을 시사함.
• 결과적으로 GAN을 통해 생성된 딥모프 영상가 얼굴 인식 시스템을 매우 효과적으로 우회할 수 있음을 입증하였으며, 이는 새로운 검출 전략과 데이터셋 개발이 필수적임을 시사함.