[논문 리뷰] Am I a Real or Fake Celebrity? Measuring Commercial Face Recognition Web APIs under Deepfake Impersonation Attack

Shahroz Tariq, Sowon Jeon외 1명|arXiv (Cornell University)|2021. 03. 01.

Adversarial Robustness in Machine Learning참고 문헌 30인용 수 16

한 줄 요약

이 논문은 Microsoft, Amazon, Naver의 상용 유명인 얼굴 인식 API가 Deepfake Impersonation (DI) 공격에 얼마나 취약한지 평가하며, 두 개의 신규로 제작된 데이터셋을 포함한 다섯 개의 딥패이크 데이터셋을 사용한다. 이는 비대상 공격 시나리오에서 최대 99.9%의 공격 성공률로 이러한 API가 속임을 당할 수 있음을 보여주며, 대상 공격 시에는 성공률을 0.02%로 낮추는 방어 기법을 제안한다. 비대상 공격 시에는 0%로 낮춘다.

ABSTRACT

Recently, significant advancements have been made in face recognition technologies using Deep Neural Networks. As a result, companies such as Microsoft, Amazon, and Naver offer highly accurate commercial face recognition web services for diverse applications to meet the end-user needs. Naturally, however, such technologies are threatened persistently, as virtually any individual can quickly implement impersonation attacks. In particular, these attacks can be a significant threat for authentication and identification services, which heavily rely on their underlying face recognition technologies' accuracy and robustness. Despite its gravity, the issue regarding deepfake abuse using commercial web APIs and their robustness has not yet been thoroughly investigated. This work provides a measurement study on the robustness of black-box commercial face recognition APIs against Deepfake Impersonation (DI) attacks using celebrity recognition APIs as an example case study. We use five deepfake datasets, two of which are created by us and planned to be released. More specifically, we measure attack performance based on two scenarios (targeted and non-targeted) and further analyze the differing system behaviors using fidelity, confidence, and similarity metrics. Accordingly, we demonstrate how vulnerable face recognition technologies from popular companies are to DI attack, achieving maximum success rates of 78.0% and 99.9% for targeted (i.e., precise match) and non-targeted (i.e., match with any celebrity) attacks, respectively. Moreover, we propose practical defense strategies to mitigate DI attacks, reducing the attack success rates to as low as 0% and 0.02% for targeted and non-targeted attacks, respectively.

연구 동기 및 목표

• 유명인 인식을 사례로 삼아 상용 얼굴 인식 웹 API가 딥패이크 위조 공격에 얼마나 견고한지 평가하기.
• 다양한 딥패이크 생성 방법이 대상 및 비대상 공격 시나리오에서 상용 API의 성능에 어떤 영향을 미치는지 조사하기.
• 정밀도, 신뢰도, 유사도 지표를 사용해 딥패이크 입력에 대한 API 반응을 이해하기 위해 시스템 행동 분석하기.
• 실제 얼굴 인식 정확도를 유지하면서 공격 성공률를 크게 낮추는 실용적인 방어 기법 제안하기.
• 딥패이크 기술이 얼굴 인식 기술의 실생활 응용에서 초래하는 보안 및 개인정보 위험에 대한 인식 제고하기.

제안 방법

• 최신 GAN 기반 방법을 사용해 기존의 세 개의 벤치마크 데이터셋 외에 두 개의 새로운 딥패이크 데이터셋을 구축하였다.
• 딥패이크 이미지를 입력으로 사용해 Microsoft, Amazon, Naver의 유명인 인식 API에 블랙박스 공격을 수행하였다.
• 두 가지 시나리오에서 공격 성능을 평가하였다: 대상 공격(특정 유명인 일치) 및 비대상 공격(어떤 유명인이라도 일치).
• 정밀도(이미지 품질), 신뢰도(API 예측 점수), 유사도(특징 임bedding의 코사인 유사도)의 세 가지 지표를 사용해 시스템 행동을 측정하였다.
• 이상 탐지 및 특징 공간 분석 기반으로 진짜 얼굴과 딥패이크를 구별할 수 있는 방어 기법을 설계하였다.
• 실시간으로 들어오는 얼굴 인식 요청을 진짜 또는 위조로 분류할 수 있도록 REST API 파이프라인에 방어 기법을 통합하였다.

실험 결과

연구 질문

• RQ1 대상 및 비대상 시나리오에서 상용 유명인 얼굴 인식 API는 딥패이크 위조 공격에 얼마나 취약한가?
• RQ2 다양한 딥패이크 생성 방법은 상용 API에 대한 위조 공격 성공률에 어떤 영향을 미치는가?
• RQ3 정밀도, 유사도, 신뢰도로 측정했을 때, 딥패이크 입력을 처리할 때 상용 API의 구분 가능한 행동 패턴은 무엇인가?
• RQ4 실제 얼굴 인식 성능을 떨어뜨리지 않으면서도 공격 성공률를 효과적으로 낮출 수 있는 실용적인 방어 기법을 설계할 수 있는가?
• RQ5 동일한 딥패이크 입력에 대해 서로 다른 상용 API(Microsoft, Amazon, Naver)의 반응은 어떻게 다를까?

주요 결과

• 비대상 위조 공격에서 한 상용 API에서 최대 99.9%의 성공률를 기록하여 심각한 취약성을 보여주었다.
• 대상 공격에서는 성공률가 최대 78.0%에 이르렀으며, 특정 유명인을 정확하게 위조하는 것이 여전히 매우 가능함을 보여주었다.
• Naver API는 딥패이크에 가장 민감하게 반응했고, Microsoft와 Amazon은 딥패이크 생성 방법에 따라 다양한 수준의 강건성을 보였다.
• 제안된 방어 기법은 대상 공격 시나리오에서는 공격 성공률를 0.02%로 낮추었고, 비대상 공격 시나리오에서는 0%로 낮춰 강력한 완화 능력을 입증하였다.
• 딥패이크의 정밀도와 신뢰도 점수는 실제 얼굴보다 유의미하게 낮아, API 반응에서 검출 가능한 통계적 편차가 있음을 시사한다.
• 연구는 딥패이크 생성 방법이 인식 시스템을 회피하는 데서의 능력이 상이함을 확인하였으며, 일부 GAN 기반 방법은 다른 것들보다 훨씬 더 효과적임을 보여주었다.