[논문 리뷰] Reconstruct Face from Features Using GAN Generator as a Distribution Constraint

Xingbo Dong, Zhihui Miao외 5명|arXiv (Cornell University)|2022. 06. 09.

Face recognition and analysis인용 수 8

한 줄 요약

이 논문은 사전 훈련된 StyleGAN 생성기의 분포 제약 조건을 활용하여 깊이 있는 특징에서 고품질의 얼굴 이미지를 복원하는 새로운 방법을 제안한다. 문제는 유전적 알고리즘을 통한 잠재 벡터 최적화로 재구성한다. 이 방법은 LFW에서 유형-I 공격 시 0.1%의 위양성률(FAR)에서 최고 수준의 98.0% 공격 성공률을 달성하며, 얼굴 인식 시스템의 심각한 개인정보 유출 및 보안 위험을 드러낸다.

ABSTRACT

Face recognition based on the deep convolutional neural networks (CNN) shows superior accuracy performance attributed to the high discriminative features extracted. Yet, the security and privacy of the extracted features from deep learning models (deep features) have been often overlooked. This paper proposes the reconstruction of face images from deep features without accessing the CNN network configurations as a constrained optimization problem. Such optimization minimizes the distance between the features extracted from the original face image and the reconstructed face image. Instead of directly solving the optimization problem in the image space, we innovatively reformulate the problem by looking for a latent vector of a GAN generator, then use it to generate the face image. The GAN generator serves as a dual role in this novel framework, i.e., face distribution constraint of the optimization goal and a face generator. On top of the novel optimization task, we also propose an attack pipeline to impersonate the target user based on the generated face image. Our results show that the generated face images can achieve a state-of-the-art successful attack rate of 98.0\% on LFW under type-I attack @ FAR of 0.1\%. Our work sheds light on the biometric deployment to meet the privacy-preserving and security policies.

연구 동기 및 목표

• 얼굴 인식 시스템에서 깊이 있는 특징 노출과 관련된 핵심 보안 및 개인정보 유출 위험을 해결한다.
• 특징 추출기의 내부 아키텍처에 대한 접근 없이도 고해상도의 얼굴 이미지를 복원한다 (블랙박스 설정).
• 기존의 생체 인식 방지 메커니즘을 우회할 수 있는 현실적인 얼굴 이미지를 생성할 수 있는 강력하고 일반화 가능한 방법을 개발한다.
• 재구성된 이미지를 활용한 위조 공격의 가능성을 입증하여 얼굴 인식 시스템의 취약성을 폭 드러낸다.
• GAN 생성기를 암묵적인 분포 제약 조건으로 활용하여 이미지 복원 품질과 현실성 향상을 탐색한다.

제안 방법

• 원본 이미지와 재구성된 이미지 간의 특징 거리 최소화를 목표로 얼굴 이미지 복원 문제를 제약 조건이 있는 최적화 문제로 재정의한다.
• 잠재 벡터를 얼굴 이미지로 매핑하기 위해 사전 훈련된 StyleGAN 생성기를 사용하며, 학습된 얼굴 분포를 구조적 제약 조건으로 활용한다.
• 최적의 잠재 벡터를 찾는 최적화 작업을, 목표 특징과 일치하는 얼굴 이미지를 생성할 수 있는 GAN의 잠재 공간 내에서 수행한다.
• 유전적 알고리즘(GA)을 사용해 잠재 공간을 효율적으로 탐색하며, 적합도는 재구성된 이미지와 원본 이미지의 특징을 추출한 후 L2 거리로 정의한다.
• 특징 추출기를 블랙박스로 간주하여 무제한의 쿼리 접근을 허용함으로써 최적화 과정의 학습 데이터를 생성한다.
• 재구성된 이미지를 LFW 및 컬러FERET 데이터셋의 얼굴 인식 시스템을 대상으로 한 완전한 위조 공격 파이프라인에 통합한다.

실험 결과

연구 질문

• RQ1 특징 추출기의 내부 아키텍처에 대한 접근 없이도 깊이 있는 특징만으로 고품질의 얼굴 이미지를 재구성할 수 있는가?
• RQ2 GAN 생성기가 이미지 복원 과정을 제약하기 위해 효과적인 분포 사전 확률로 기능할 수 있는 정도는 어느 정도인가?
• RQ3 제안된 방법이 얼굴 인식 시스템에서 진짜 사용자를 성공적으로 위장할 수 있는 정도는 어떠한가?
• RQ4 재구성된 이미지가 상용 유통 제품(COTS) 생체 인식 방지 시스템을 얼마나 잘 회피하는가?
• RQ5 유전적 알고리즘의 핵심 초모수 중에서 복원 품질과 효율성에 영향을 미치는 요소는 무엇인가?

주요 결과

• 제안된 방법은 LFW 데이터셋에서 유형-I 공격 시 0.1%의 위양성률(FAR)에서 최고 수준의 98.0% 공격 성공률를 달성한다.
• 컬러FERET 데이터셋에서도 동일한 조건에서 96.7%의 공격 성공률를 기록하며, 다양한 데이터셋 간의 강력한 일반화 능력을 입증한다.
• 상용 유통 제품(COTS) 생체 인식 방지 시스템 API를 통과한 이미지 비율은 총 88.6%이며, COTS 2는 62%, COTS 3는 98%로, 현재 상용 생체 인식 방지 시스템의 심각한 취약성을 시사한다.
• 절단 실험 결과, 인구 수 256, 교차 비율 0.2, 돌연변이 비율 0.1 조합이 MSE 및 계산 효율성 측면에서 최적의 성능을 내는 것으로 나타났다.
• 실패 사례 분석에서 생성기의 편향이 드러났으며, StyleGAN 모델의 훈련 데이터가 균형 잡히지 않아 재구성된 이미지가 자주 아기나 여성 얼굴 형태로 수렴하는 경향이 있다.
• GAN 생성기를 분포 제약 조건으로 사용할 경우, 복소망 또는 직접 역전환 기반의 이전 방법 대비 이미지 품질과 현실성 향상이著しく 향상됨을 확인했다.