[논문 리뷰] Style Your Face Morph and Improve Your Face Morphing Attack Detector

Clemens Seibold, Anna Hilsmann외 1명|arXiv (Cornell University)|2020. 04. 23.

Face recognition and analysis참고 문헌 16인용 수 14

한 줄 요약

이 논문은 얼굴 모핑 생성 과정에서 발생하는 혼합에 의한 이미지 열화를 역으로 복구함으로써 얼굴 모핑의 시각적 품질을 햖스르기 위한 딥 뉴럴 네트워크 기반 스타일 전이 방법을 제안한다. 향상된 모핑은 여러 최신 기술의 얼굴 모핑 공격 탐지(MAD) 시스템에서 탐지율을 크게 감소시키지만, 이러한 향상된 모핑을 사용해 학습시킨 시스템은 제안된 방법 뿐 아니라 히스토그램 균형화나 샤프닝과 같은 다른 이미지 품질 향상 기법에 대해서도 강건성을 향상시킨다.

ABSTRACT

A morphed face image is a synthetically created image that looks so similar to the faces of two subjects that both can use it for verification against a biometric verification system. It can be easily created by aligning and blending face images of the two subjects. In this paper, we propose a style transfer based method that improves the quality of morphed face images. It counters the image degeneration during the creation of morphed face images caused by blending. We analyze different state of the art face morphing attack detection systems regarding their performance against our improved morphed face images and other methods that improve the image quality. All detection systems perform significantly worse, when first confronted with our improved morphed face images. Most of them can be enhanced by adding our quality improved morphs to the training data, which further improves the robustness against other means of quality improvement.

연구 동기 및 목표

• 혼합에 의해 유발되는 열화를 보완하는 이미지 품질 향상 기법이 얼굴 모핑 공격 탐지(MAD) 시스템의 취약성을 악화시키는 문제를 해결한다.
• 스타일 전이를 통해 모핑된 얼굴 이미지를 향상시켜 기존의 MAD 시스템을 회피하고 신뢰성에 영향을 주는지 조사한다.
• 향상된 모핑 이미지를 학습 데이터에 통합했을 때 일반화 능력과 다른 이미지 품질 향상 기법에 대한 강건성이 향상되는지 평가한다.
• 미세한 이미지 품질 향상조차도 MAD 시스템의 성능을 심각하게 떨어뜨릴 수 있음을 입증하며, 강건한 훈련 데이터 증강의 필요성을 강조한다.

제안 방법

• 두 원본 얼굴의 평균 스타일을 타겟 스타일로 삼아, 모핑된 얼굴 이미지에 신경 스타일 전이를 적용한다.
• 모핑된 구조를 유지하는 내용 손실(content loss)과 입력 얼굴의 평균 스타일을 일치시키는 스타일 손실(style loss)을 동시에 최소화하도록 딥 뉴럴 네트워크를 훈련시킨다.
• 사전 훈련된 CNN(예: VGG)의 특징 맵에서 얻은 그람 행렬(Gram matrices)을 사용해 다중 레이어에서 스타일 표현을 정의한다.
• 내용 손실 및 스타일 손실의 기울기를 사용해 역전파를 통해 생성된 이미지를 최적화하여 고품질의 모핑 이미지를 생성한다.
• 훈련된 모델을 사용해 표준 혼합 모핑 이미지에서 향상된 모핑 이미지를 생성함으로써 질감 세부 정보를 개선하고 둔한 느낌을 줄인다.
• 다양한 MAD 시스템의 학습 데이터에 향상된 모핑 이미지를 통합하여 일반화 및 강건성에 미치는 영향을 평가한다.

실험 결과

연구 질문

• RQ1 최신 기술의 MAD 시스템이 표준 모핑 이미지 대비 스타일 전이로 향상된 모핑된 얼굴 이미지에 직면했을 때 얼마나 높은 실패율을 보이는가?
• RQ2 스타일 전이로 향상된 모핑 이미지를 사용해 MAD 시스템을 학습시킬 경우, 히스토그램 균형화나 샤프닝과 같은 다른 이미지 품질 향상 기법에 대한 강건성이 향상되는가?
• RQ3 향상된 모핑 이미지와 원본 모핑 이미지에서 테스트했을 때 MAD 시스템의 성능 지표(APCER, BPCER)는 어떻게 변화하는가?
• RQ4 향상된 모핑 이미지를 학습 데이터에 포함시킬 경우, 다양한 유형의 이미지 품질 향상 기법에 대해 일반화 능력이 향상되는가?
• RQ5 수작업 특징(예: LBP, BSIF)을 사용하는 시스템과 딥 뉴럴 네트워크 기반 시스템 간에 동일한 향상 기법에 대해 어떻게 반응하는가?

주요 결과

• 모든 평가된 MAD 시스템, 특히 딥 뉴럴 네트워크 기반 탐지기들은 스타일 전이로 향상된 모핑 이미지에서 탐지 성능이 크게 떨어지며, DNN 기반의 단순 모델의 경우 APCER가 1.5%에서 29.9%로 증가한다.
• 스타일 전이로 향상된 모핑 이미지를 사용해 MAD 시스템을 학습시킬 경우, 동일한 향상 기법 뿐 아니라 히스토그램 균형화나 샤프닝과 같은 다른 품질 향상 기법에 대해서도 탐지율이 크게 향상된다.
• 이미지 품질 향상에 가장 취약했던 DNN 기반 탐지기들은 향상된 모핑 이미지를 사용해 재학습했을 때 강건성이 가장 크게 향상되었으며, 병합 공격에서 APCER 5%일 때 BPCER가 3.3%로 향상되었다.
• 향상된 모핑 이미지의 생체 인식 품질은 높은 편으로, rMAR1000이 93.2%이고 rMAR10000이 87.0%로 나타나 모핑 시나리오에서 강한 현실감과 수용률을 보였다.
• 이미지 강화로 인한 성능 저하는 특정 기법에 국한되지 않으며, 히스토그램 균형화나 샤프닝 역시 특히 DNN 기반 시스템의 탐지율을 심각하게 떨어뜨린다.
• 제안된 방법은 혼합에 의해 유발되는 이미지 열화를 효과적으로 보완하여 주름, 모공과 같은 고주파 수준의 세부 정보를 복원하며, 이는 텍스처 분석에 의존하는 탐지 시스템에 매우 중요하다.