[논문 리뷰] Face Image Reconstruction from Deep Templates.

Guangcan Mai, Kai Cao외 2명|arXiv (Cornell University)|2017. 03. 02.

Face recognition and analysis인용 수 11

한 줄 요약

이 논문은 주제나 네트워크 아키텍처에 대한 사전 지식 없이도 고해상도 얼굴 이미지를 깊이 있는 얼굴 템플릿에서 복원할 수 있는 이웃 기반의 탈컨볼루션 신경망인 NbNet을 제안한다. LFW에서 0.1% FAR 기준으로 타입-I 공격 시 95.20%의 진짜 수용률(TAR)을 달성하여 최신 얼굴 인식 시스템에 심각한 취약성을 드러낸다.

ABSTRACT

State-of-the-art face recognition systems are based on deep (convolutional) neural networks. Therefore, it is imperative to determine to what extent face templates derived from deep networks can be inverted to obtain the original face image. In this paper, we study the vulnerabilities of a state-of-the-art face recognition system based on template reconstruction attack. We propose a neighborly de-convolutional neural network ( extit{NbNet}) to reconstruct face images from their deep templates. In our experiments, we assumed that no knowledge about the target subject and the deep network are available. To train the extit{NbNet} reconstruction models, we augmented two benchmark face datasets (VGG-Face and Multi-PIE) with a large collection of images synthesized using a face generator. The proposed reconstruction was evaluated using type-I (comparing the reconstructed images against the original face images used to generate the deep template) and type-II (comparing the reconstructed images against a different face image of the same subject) attacks. Given the images reconstructed from extit{NbNets}, we show that for verification, we achieve TAR of 95.20\% (58.05\%) on LFW under type-I (type-II) attacks @ FAR of 0.1\%. Besides, 96.58\% (92.84\%) of the images reconstruction from templates of partition extit{fa} ( extit{fb}) can be identified from partition extit{fa} in color FERET. Our study demonstrates the need to secure deep templates in face recognition systems.

연구 동기 및 목표

• 최신 얼굴 인식 시스템에서 생성된 깊이 있는 얼굴 템플릿이 원본 얼굴 이미지를 복원할 수 있는지 조사하기 위해
• 대상 주제나 기반 딥 네트워크에 대한 지식이 없는 현실적인 가정 하에 템플릿 복원 공격의 가능성을 평가하기 위해
• 제한된 사전 정보를 바탕으로 깊이 있는 템플릿에서 고해상도 얼굴 이미지를 생성할 수 있는 강력한 복원 모델을 개발하기 위해
• 내부 및 외부 주제 비교를 통해 템플릿 복원의 실질적 영향을 얼굴 인식 검증 성능 측면에서 평가하기 위해

제안 방법

• NbNet은 특징 표현으로부터 역함수 매핑을 학습하여 깊이 있는 얼굴 템플릿을 얼굴 이미지로 변환하는 탈컨볼루션 신경망 아키텍처이다.
• 모델은 VGG-Face 및 Multi-PIE 데이터셋의 증강된 버전을 사용하여 훈련되며, 일반화 능력을 향상시키기 위해 얼굴 생성기로 합성된 얼굴 이미지가 추가로 포함된다.
• 이중 단계 훈련 전략을 사용한다: 첫 번째 단계에서는 인지 손실과 적대적 손실을 활용하여 깊이 있는 특징에서 이미지를 복원하도록 네트워크를 학습한다.
• 네트워크는 이웃 패치의 공간적 및 특징 기반 유사성을 활용하여 복원 품질을 향상시키는 이웃 기반 특징 집합 메커니즘을 통합한다.
• 복원 정밀도 평가에 타입-I 및 타입-II 공격을 사용한다: 타입-I은 템플릿 생성에 사용된 원본 이미지와 비교하고, 타입-II는 동일 주제의 다른 이미지와 비교한다.
• 평가 지표로는 LFW 및 컬러 FERET 데이터셋에서 고정된 0.1% FAR 기준 진짜 수용률(TAR)을 사용한다.

실험 결과

연구 질문

• RQ1 원본 네트워크나 주제 정체성에 대한 지식 없이 깊이 있는 얼굴 템플릿을 효과적으로 역으로 복원하여 원본 얼굴 이미지를 재구성할 수 있는가?
• RQ2 제안된 NbNet 모델이 타입-I 및 타입-II 공격 시나리오에서 얼굴 이미지 복원 성능을 얼마나 잘 수행하는가?
• RQ3 깊이 있는 템플릿에서 복원된 이미지가 얼굴 인식 시스템 보안에 어느 정도 영향을 미치는가?
• RQ4 다른 데이터셋 분할을 사용할 경우 템플릿 복원의 영향은 어떻게 변화하는가?

주요 결과

• 제안된 NbNet은 LFW 데이터셋에서 0.1% FAR 기준 타입-I 공격 시 95.20%의 진짜 수용률(TAR)을 달성하여 높은 복원 정밀도를 보였다.
• 타입-II 공격 상황에서는 동일한 FAR 기준으로 58.05%의 TAR를 기록하여, 복원된 이미지가 동일 주제의 다른 이미지와 비교해도 매우 식별 가능하다는 것을 입증했다.
• 컬러 FERET 데이터셋에서 파artition fa의 템플릿에서 복원된 이미지 중 96.58%가 동일한 파artition 내에서 정확하게 식별되었으며, 이는 강력한 이미지 간 식별 능력을 나타낸다.
• 파artition fb의 경우, 복원된 이미지 중 92.84%가 동일한 파artition에서 식별 가능하여, 다양한 데이터 분할 간 복원의 강건성을 추가로 검증했다.
• 결과적으로 깊이 있는 얼굴 템플릿이 네트워크나 주제에 대한 사전 지식 없이도 복원 공격에 취약하다는 점을 확인했다.
• 본 연구는 현재 얼굴 인식 시스템에 심각한 보안 격차가 존재하며, 특히 역전파 공격로부터 깊이 있는 템플릿을 보호할 필요성이 있음을 강조한다.