[논문 리뷰] MIPGAN -- Generating Strong and High Quality Morphing Attacks Using Identity Prior Driven GAN

Haoyu Zhang, Sushma Venkatesh외 4명|arXiv (Cornell University)|2020. 09. 03.

Face recognition and analysis인용 수 9

한 줄 요약

이 논문은 고해상도, 신원 유지형 얼굴 모핑 공격을 생성하는 새로운 GAN 기반 프레임워크인 MIPGAN을 제안한다. 신원 사전 지식 기반 손실을 통해 시각적 현실감과 공격 강도를 향상시킨다. 이 방법은 상용 및 딥러닝 기반 얼굴 인식 시스템을 뛰어넘는 데 높은 성공률를 기록하며, 현재의 생체인식 보안 프로토콜에 심각한 위협을 제기한다.

ABSTRACT

Face morphing attacks target to circumvent Face Recognition Systems (FRS) by employing face images derived from multiple data subjects (e.g., accomplices and malicious actors). Morphed images can be verified against contributing data subjects with a reasonable success rate, given they have a high degree of facial resemblance. The success of morphing attacks is directly dependent on the quality of the generated morph images. We present a new approach for generating strong attacks extending our earlier framework for generating face morphs. We present a new approach using an Identity Prior Driven Generative Adversarial Network, which we refer to as MIPGAN (Morphing through Identity Prior driven GAN). The proposed MIPGAN is derived from the StyleGAN with a newly formulated loss function exploiting perceptual quality and identity factor to generate a high quality morphed facial image with minimal artefacts and with high resolution. We demonstrate the proposed approach's applicability to generate strong morphing attacks by evaluating its vulnerability against both commercial and deep learning based Face Recognition System (FRS) and demonstrate the success rate of attacks. Extensive experiments are carried out to assess the FRS's vulnerability against the proposed morphed face generation technique on three types of data such as digital images, re-digitized (printed and scanned) images, and compressed images after re-digitization from newly generated MIPGAN Face Morph Dataset. The obtained results demonstrate that the proposed approach of morph generation poses a high threat to FRS.

연구 동기 및 목표

• 기존의 저품질 또는 아티팩트가 많은 이미지를 생성하는 모핑 공격 기법의 한계를 해결하기 위해, 얼굴 인식 시스템(FRS)을 우회하는 데 효과성이 떨어지는 문제를 해결한다.
• 저품질의 아티팩트와 고해상도를 최소화하면서도 신원 요소를 유지하는 GAN 기반 접근법을 개발한다.
• 다양한 이미지 유형(디지털, 재디지털라이제이션, 압축)에서 상용 및 딥러닝 기반 FRS의 취약성을 평가한다.
• 향후 모핑 공격 탐지(MAD) 연구를 지원하기 위해 새로운 대규모 얼굴 모핑 데이터셋(30,000장의 모핑된 이미지)을 구축한다.
• 최신의 MAD 기법을 사용하여 MIPGAN이 생성한 모핑 이미지의 일반화 능력과 탐지 가능성 평가를 수행한다.

제안 방법

• 고해상도 이미지 합성 능력을 지닌 스타일 GAN을 백본 생성기로 활용한다.
• 시각적 품질 향상과 얼굴 신원 유지에 기여하기 위해 인지적 손실과 신원 요소 손실을 조합한 새로운 손실 함수를 도입한다.
• 사전 훈련된 얼굴 임bedding 모델(예: ArcFace)에서 유도된 신원 사전 지식을 활용해 생성기가 모핑된 얼굴 간의 신원 일관성을 유지하도록 이끈다.
• 실제 이미지와 생성된 모핑 이미지를 구분하는 디스커미네이터를 훈련시켜 현실감을 강화하고 아티팩트를 최소화한다.
• 두 단계 훈련 전략을 적용한다: 먼저 신원 및 인지적 손실을 사용해 생성기를 사전 훈련한 후, 디스커미네이터와 함께 적대적 훈련을 수행한다.
• 신원 사전 지식에 기반한 잠재 공간 보간을 통해 두 개 이상의 원본 얼굴 이미지를 혼합하여 모핑된 이미지를 생성한다.

실험 결과

연구 질문

• RQ1 GAN 기반 접근법이 현대의 얼굴 인식 시스템을 우회할 수 있는 시각적으로 현실적인 모핑된 얼굴을 생성할 수 있는가?
• RQ2 손실 함수에 신원 사전 지식을 포함할 경우, 생성된 모핑된 얼굴 이미지의 인지적 품질과 신원 유지 능력에 어떤 영향을 미치는가?
• RQ3 MIPGAN이 생성한 모핑된 이미지가 상용 및 딥러닝 기반 FRS에서 기여한 대상자에 대한 확인을 통과하는 데 성공률는 얼마인가?
• RQ4 기존의 최신 기술 기반 모핑 공격 탐지(MAD) 기법을 사용할 경우, MIPGAN이 생성한 모핑된 이미지는 얼마나 탐지 가능한가?
• RQ5 인식된 이미지의 열화(예: 프린트-스캔, 압축)는 MIPGAN이 생성한 모핑된 이미지의 탐지 가능성과 성공률에 어떤 영향을 미치는가?

주요 결과

• MIPGAN이 생성한 모핑된 이미지는 상용 및 딥러닝 기반 얼굴 인식 시스템을 뛰어넘는 데 매우 높은 성공률를 기록하며, 강력한 공격 잠재력을 입증했다.
• 특히 실제 환경에서의 이미지 열화 조건에서 기존의 랜드마크 기반 모핑 기법에 비해 시각적 품질과 공격 성공률 측면에서 뚜렷한 우수성을 보였다.
• MIPGAN-I 및 MIPGAN-II 버전은 자동화된 메트릭과 인간 평가를 통해 최소한의 아티팩트와 높은 인지적 품질을 지닌 모핑된 이미지를 생성했다.
• MIPGAN이 생성한 모핑된 이미지는 유사한 데이터로 훈련된 최신 기술 기반 MAD 기법에 의해 높이 탐지되었지만, 새로운 모핑 방법에 대해선 뛰어난 일반화 능력과 회피 능력을 보였다.
• 특히 프린트-스캔 및 압축된 이미지 시나리오에서 MAD 기법의 탐지 성능이 뚜렷이 저하되었으며, 이는 MIPGAN의 합성 노이즈가 실제 환경의 열화를 효과적으로 모방하고 있음을 시사한다.
• MIPGAN이 생성한 데이터로 MAD 모델을 훈련시킬 경우, 디지털 모핑 이미지보다 프린트-스캔 및 압축된 모핑 이미지에서 더 높은 탐지 정확도를 달성했으며, 이는 MIPGAN의 출력이 실제 환경의 열화 패턴을 효과적으로 모방하고 있음을 시사한다.