[논문 리뷰] Attacks on State-of-the-Art Face Recognition using Attentional Adversarial Attack Generative Network

Qing Song, Yingqi Wu외 1명|arXiv (Cornell University)|2018. 11. 29.

Face recognition and analysis참고 문헌 49인용 수 22

한 줄 요약

이 논문은 최첨단 얼굴 인식 모델이 특정 대상 인물을 잘못 식별하도록 유도하기 위해 현실적이고 눈에 띄지 않는 얼굴 이미지를 생성하는 새로운 생성적 적대적 네트워크인 A³GN을 제안한다. 조건부 VAE, 주의 모듈, 그리고 얼굴 인식 네트워크를 제3의 플레이어로 포함한 이중 판별자 구조를 통합함으로써 A³GN은 CASIA-WebFace에서 98.23%의 공격 정확도를 달성하여 이전 방법들보다 뚜렷이 뛰어난 성능을 보였다.

ABSTRACT

With the broad use of face recognition, its weakness gradually emerges that it is able to be attacked. So, it is important to study how face recognition networks are subject to attacks. In this paper, we focus on a novel way to do attacks against face recognition network that misleads the network to identify someone as the target person not misclassify inconspicuously. Simultaneously, for this purpose, we introduce a specific attentional adversarial attack generative network to generate fake face images. For capturing the semantic information of the target person, this work adds a conditional variational autoencoder and attention modules to learn the instance-level correspondences between faces. Unlike traditional two-player GAN, this work introduces face recognition networks as the third player to participate in the competition between generator and discriminator which allows the attacker to impersonate the target person better. The generated faces which are hard to arouse the notice of onlookers can evade recognition by state-of-the-art networks and most of them are recognized as the target person.

연구 동기 및 목표

• 입력된 얼굴 이미지를 일반적인 오류 분류가 아니라 특정 대상 신원으로 잘못 분류하는 타겟 공격을 개발하는 것.
• 원본 이미지와의 의미론적 및 얼굴 구조 유사성을 유지하면서도 인간 관찰자에게 감지되지 않는 고도로 현실적인 적대적 얼굴 이미지를 생성하는 것.
• 조건부 VAE와 주의 메커니즘을 활용해 개별 얼굴 특징을 모델링함으로써 공격 성공률를 향상시키는 것.
• 얼굴 인식 모델 자체를 GAN 학습 과정의 제3의 플레이어로 통합하여 생성된 이미지가 대상 모델의 특징 공간과 더 잘 일치하도록 하는 것.
• 백색 상자 및_blk 백색 상자 설정 모두에서 성능을 평가하여 다양한 최첨단 얼굴 인식 아키텍처 간의 일반화 능력을 입증하는 것.

제안 방법

• A³GN은 대상 얼굴 이미지에서 신원 특징을 유지하는 조건부 변동형 자동인코더(CVAE)를 사용해 잠재 코드를 추출한다.
• 공간적 및 채널 방향 주의 모듈을 생성기 내부에 통합하여 미세한 얼굴 간 의존성과 특징 표현 학습을 향상시킨다.
• 생성기는 두 개의 판별자로 훈련된다: 표준 실사/가짜 판별자와, 생성된 이미지가 대상 얼굴 인식 모델에 의해 대상 신원으로 분류되는지 확인하는 인스턴스 판별자.
• 인식 네트워크의 마지막 레이어에서 생성된 이미지의 특징 임베딩과 대상 신원 간의 코사인 손실을 적용하여 특징 수준의 일치를 강제한다.
• 훈련 과정에서 얼굴 인식 모델을 제3의 플레이어로 간주함으로써 생성기가 시각적으로 현실적이면서도 의미론적으로 대상 신원과 일치하는 적대적 예제를 생성할 수 있도록 한다.
• 이 프레임워크는 백색 상자 및 검은 상자 공격 시나리오 모두를 지원하며, LFW, CASIA-WebFace 및 ArcFace, SphereFace, ResNet 등 여러 최첨단 모델을 대상으로 평가된다.

실험 결과

연구 질문

• RQ1 GAN 기반 접근법이 최첨단 얼굴 인식 모델이 특정 대상 신원으로 일관되게 잘못 식별하도록 하는 현실적으로 구현 가능한 적대적 얼굴 이미지를 생성할 수 있는가?
• RQ2 주의 메커니즘과 조건부 VAE의 통합이 생성된 적대적 얼굴의 품질과 신원 충실도를 향상시키는 데 얼마나 효과적인가?
• RQ3 얼굴 인식 모델 자체를 GAN 학습 과정의 동적 구성 요소로 활용할 경우, 더 효과적인 적대적 예제 생성을 이끌 수 있는가?
• RQ4 A³GN의 공격 성능는 타겟 오류 분류 정확도와 실제 이미지 유사도 측면에서 이전 방법들과 비교해 어떻게 다른가?
• RQ5 생성된 적대적 예제는 블랙박스 설정에서 다양한 얼굴 인식 모델 간에 일반화 가능한가?

주요 결과

• 백색 상자 설정에서 A³GN은 LFW에서 99.42%의 정확도를 기록했고, ArcFace를 공격할 때 mAP가 56.26%로 타겟 오류 분류 성능이 뛰어나다는 것을 보였다.
• CASIA-WebFace 데이터셋에서 A³GN은 98.23%의 공격 정확도를 달성했으며, GFLM(거짓 레이블에서 99.96% 성공률를 기록했지만 타겟 레이블에서는 98.23%에 그침)보다 타겟 공격에서 뛰어난 성능을 보였다.
• ArcFace 기준 실사 및 가짜 이미지 간의 유사도 점수는 0.530로 높은 시각적 및 특징 수준의 유사도를 나타내었고, SSIM는 0.161로 강력한 인지적 현실감을 보였다.
• 블랙박스 설정에서도 A³GN은 유의미한 성공률를 기록했으며, ResNet-Softmax(17.70%), SphereFace(12.32%), MobileFaceNet(9.07%)에서 mAP 값이 각각 기록되었다. 이는 다양한 모델 간의 일반화 능력을 입증한다.
• 공격는 ArcFace에서 가장 효과적이었으며, 이는 MS-Celeb-1M에서 훈련된 ArcFace의 뛰어난 특징 표현 능력이 CASIA-WebFace에서 훈련된 SphereFace 및 ResNet보다 우월하기 때문일 것이다.
• 코사인 손실과 주의 모듈의 사용은 특징 일치를 크게 향상시켰으며, 생성된 임베딩과 대상 임베딩 간의 코사인 거리가 낮아져 공격 성공률가 향상됨을 입증했다.