[논문 리뷰] Adversarial Generative Nets: Neural Network Attacks on State-of-the-Art Face Recognition.

Mahmood Sharif, Sruti Bhagavatula외 2명|arXiv (Cornell University)|2018. 01. 03.

Adversarial Robustness in Machine Learning참고 문헌 77인용 수 94

한 줄 요약

이 논문은 딥 뉴럴 네트워크 기반의 얼굴 인식 시스템에 대상 및 비대상 오분류 공격을 유도할 수 있는 물리적으로 실현 가능한 안경을 자동으로 생성하기 위해 적대적 생성 네트워크를 도입한다. 이 방법은 통합된 안경 디자인을 통해 높은 은폐성, 방어 조치에 대한 강건성, 확장성 확보를 달성하며, 실제 물리적 환경에서도 효과적인 회피를 보여준다.

ABSTRACT

In this paper we show that misclassification attacks against face-recognition systems based on deep neural networks (DNNs) are more dangerous than previously demonstrated, even in contexts where the adversary can manipulate only her physical appearance (versus directly manipulating the image input to the DNN). Specifically, we show how to create eyeglasses that, when worn, can succeed in targeted (impersonation) or untargeted (dodging) attacks while improving on previous work in one or more of three facets: (i) inconspicuousness to onlooking observers, which we test through a user study; (ii) robustness of the attack against proposed defenses; and (iii) scalability in the sense of decoupling eyeglass creation from the subject who will wear them, i.e., by creating universal sets of eyeglasses that facilitate misclassification. Central to these improvements are adversarial generative nets, a method we propose to generate physically realizable attack artifacts (here, eyeglasses) automatically.

연구 동기 및 목표

• 딥 뉴럴 네트워크 기반의 최신 얼굴 인식 시스템에 대해 물리적으로 실현 가능한 적대적 공격을 개발하기 위해.
• 수정된 안경이 인간 관찰자에게 감지되지 않도록 공격의 은폐성을 향상시키기 위해.
• 적대적 편향을 탐지하거나 완화하기 위해 설계된 방어 메커니즘에 대한 강건성을 향상시키기 위해.
• 개별 대상에 맞게 조정하지 않고도 재사용 가능한 공격 템plate를 생성함으로써 확장 가능한 배포를 가능하게 하기 위해.
• 개인 외모의 변화(예: 안경)만으로도 실제 세계에서 성공적인 물리적 공격를 가능하게 함을 입증하기 위해.

제안 방법

• 적대적 생성 네트워크(AGN)를 제안하며, 이는 공격 아티팩트(안경)의 적대적 편향과 물리적 실현 가능성을 동시에 최적화하는 새로운 딥 러닝 프레임워크이다.
• 생성 모델을 사용하여 렌즈 패턴에 편향이 내장된 현실적인 안경 프레임을 합성함으로써 딥 뉴럴 네트워크 기반 얼굴 인식 시스템을 오도한다.
• 다양한 조명, 각도, 카메라 조건에서 안경이 어떻게 보일지 시뮬레이션하기 위해 미분 가능한 렲팅 파이프라인을 사용한다.
• 오분류 목표 정확도, 자연스러운 안경과의 시각적 유사도, 이미지 변환에 대한 강건성을 균형 잡는 손실 함수를 사용하여 모델을 훈련시킨다.
• 관찰자가 생성된 안경을 감지하는 비율을 측정하여 은폐성을 평가하기 위해 사용자 연구를 실시한다.
• 훈련된 AGN 모델을 사용하여 개별 대상에 맞게 재학습 없이도 여러 대상에서 효과적인 통합 안경 템플릿을 생성한다.

실험 결과

연구 질문

• RQ1 적대적 편향이 인간 관찰자에게 시각적으로 감지되지 않도록 물리적 안경에 통합할 수 있는가?
• RQ2 이러한 물리적 적대적 공격는 얼굴 인식 시스템에 통합된 일반적인 방어 조치에 대해 얼마나 강건한가?
• RQ3 단일 통합 안경 세트가 여러 개인에게 효과를 발휘할 수 있는가? 즉, 확장 가능한 배포가 가능한가?
• RQ4 생성된 안경이 실제 물리적 환경에서 얼마나 높은 공격 성공률을 달성하는가?
• RQ5 은폐성, 강건성, 확장성 측면에서 이전의 연구와 비교해 본다면, 제안된 방법은 어떠한가?

주요 결과

• 사용자 연구에서 제안된 적대적 생성 네트워크는 생성된 안경이 실제 안경과 시각적으로 구별되지 않음을 입증하였으며, 관찰자가 감지하는 비율이 매우 낮았다.
• 공격는 적대적 훈련 및 이미지 전처리와 같은 일반적인 방어 기법을 적용받은 상황에서도 높은 성공률(90% 이상)을 유지하였다.
• 통합 안경 템플릿은 개별 대상에 맞게 재조정하지 않고도 여러 대상의 얼굴 인식 모델을 성공적으로 속이는데 효과적이었다.
• 다양한 조명, 각도, 카메라 해상도 조건에서도 우수한 성능을 보여, 실제 배포 시 강력한 일반화 능력을 입증하였다.
• 은폐성, 강건성, 확장성의 세 가지 차원에서 이전의 연구를 초월하는 공격 성공률를 기록하였다.