[논문 리뷰] MIPGAN -- Generating Robust and High QualityMorph Attacks Using Identity Prior Driven GAN

Haoyu Zhang, Sushma Venkatesh외 4명|arXiv (Cornell University)|2020. 09. 03.

Face recognition and analysis참고 문헌 48인용 수 8

한 줄 요약

MIPGAN은 얼굴 인식 시스템(FRS)을 우회하기 위한 고품질이고 내구성 있는 얼굴 모핑을 생성하기 위해 신뢰도 기반의 생성적 적대적 네트워크(GAN) 프레임워크를 도입한다. 스타일 GAN 기반 아키텍처에 인지적 손실과 신원 인식 손실을 통합함으로써, 최소한의 잡음과 고해상도를 갖춘 모핑된 얼굴을 생성하여 디지털, 인쇄, 압축 이미지 유형 전반에서 상용 FRS에 대해 높은 성공률을 기록한다.

ABSTRACT

Face morphing attacks target to circumvent Face Recognition Systems (FRS) by employing face images derived from multiple data subjects (e.g., accomplices and malicious actors). Morphed images can verify against contributing data subjects with a reasonable success rate, given they have a high degree of identity resemblance. The success of the morphing attacks is directly dependent on the quality of the generated morph images. We present a new approach for generating robust attacks extending our earlier framework for generating face morphs. We present a new approach using an Identity Prior Driven Generative Adversarial Network, which we refer to as extit{MIPGAN (Morphing through Identity Prior driven GAN)}. The proposed MIPGAN is derived from the StyleGAN with a newly formulated loss function exploiting perceptual quality and identity factor to generate a high quality morphed face image with minimal artifacts and with higher resolution. We demonstrate the proposed approach's applicability to generate robust morph attacks by evaluating it against a commercial Face Recognition System (FRS) and demonstrate the success rate of attacks. Extensive experiments are carried out to assess the FRS's vulnerability against the proposed morphed face generation technique on three types of data such as digital images, re-digitized (printed and scanned) images, and compressed images after re-digitization from newly generated extit{MIPGAN Face Morph Dataset}. The obtained results demonstrate that the proposed approach of morph generation profoundly threatens the FRS.

연구 동기 및 목표

• 고품질이면서 잡음이 최소화된 얼굴 모핑이 상용 얼굴 인식 시스템(FRS)을 효과적으로 우회할 수 있도록 하는 데 핵심적인 필요성을 해결하기 위해.
• 디지털, 재디지털화된(인쇄/스캔된), 압축된 이미지 유형을 포함한 다양한 이미지 품질 조건에서 모핑 공격의 내구성을 향상시키기 위해.
• 모핑된 얼굴 이미지에서 시각적 품질과 해상도를 확보하면서도 신원 유사성을 유지하는 생성 모델을 개발하기 위해.
• 새로운 MIPGAN 얼굴 모핑 데이터셋을 활용하여 상용 FRS의 취약성을 평가하기 위해.
• 실제 세계의 FRS 파이프라인에서 체계적인 평가를 통해 모핑 공격의 실질적 위협성을 입증하기 위해.

제안 방법

• MIPGAN은 고해상도 이미지 생성 능력을 활용하기 위해 스타일 GAN 아키텍처를 기반으로 구축된다.
• 얼굴의 신원를 유지하고 잡음을 줄이기 위해 인지적 손실과 신원 요인 손실을 조합한 새로운 손실 함수를 도입한다.
• 실제 얼굴 이미지에서 유도된 신원 임bedding과 생성된 모핑의 잠재 공간을 일치시킴으로써 신원 우선 기반의 제약 조건을 강화한다.
• 모든 원천 주체와 유사성을 유지하는 이미지를 생성하기 위해 다양한 얼굴 쌍 데이터셋을 기반으로 엔드 투 엔드로 훈련된다.
• 모핑의 시각적 정확도와 신원 일관성을 동시에 최적화함으로써, 현실감 있고 FRS를 속이는 데 효과적인 모핑이 가능하도록 훈련된다.
• 최종적으로 생성된 MIPGAN 얼굴 모핑 데이터셋은 다양한 이미지 품질 조건에서 공격 성공률 평가에 사용된다.

실험 결과

연구 질문

• RQ1 신원 우선 기반의 GAN 기반 접근법은 상용 FRS를 효과적으로 우회할 수 있는 동시에 시각적으로 현실적인 모핑된 얼굴을 생성할 수 있는가?
• RQ2 제안된 MIPGAN 프레임워크는 디지털, 재디지털화된, 압축된 이미지 유형을 포함한 다양한 이미지 품질 수준에서 어떻게 성능을 발휘하는가?
• RQ3 인지적 손실과 신원 인식 손실의 통합이 이전 방법에 비해 모핑된 얼굴의 품질과 내구성에 얼마나 기여하는가?
• RQ4 실제 구현 조건에서 상용 FRS에 대해 테스트했을 때 MIPGAN으로 생성된 모핑의 성공률은 어떠한가?
• RQ5 MIPGAN으로 생성된 모핑 데이터셋은 기존 벤치마크와 비교해 모핑 공격의 효과성과 다양성 측면에서 어떻게 다른가?

주요 결과

• MIPGAN은 최소한의 시각적 잡음으로 고해상도의 모핑된 얼굴 이미지를 성공적으로 생성하여 이전의 모핑 기법에 비해 크게 향상시켰다.
• 제안된 방법은 상용 FRS를 우회하는 데 높은 성공률를 기록하여 신원 우선 기반 생성의 효과성을 입증하였다.
• 재디지털화 및 압축된 이미지 유형을 포함한 모든 테스트된 이미지 유형에서 공격 성공률가 높게 유지되어 품질 저하에 대한 내구성이 있음을 시사한다.
• 인지적 손실과 신원 인식 손실의 통합은 기여한 주체와 의미적으로 일치하는 동시에 시각적으로 신뢰할 수 있는 모핑된 이미지를 생성한다.
• MIPGAN 얼굴 모핑 데이터셋은 FRS의 취약성에 대한 체계적인 평가를 가능하게 하여 실제 구현 환경에서의 심각한 취약점을 드러냈다.
• 결과적으로 고도화된 GAN 기반 모핑 기법은 현재 얼굴 인식 시스템의 보안에 심각한 위협을 가하고 있음을 확인하였다.