[论文解读] Am I a Real or Fake Celebrity? Measuring Commercial Face Recognition Web APIs under Deepfake Impersonation Attack

Shahroz Tariq, Sowon Jeon+1 more|arXiv (Cornell University)|Mar 1, 2021

Adversarial Robustness in Machine Learning参考文献 30被引用 16

一句话总结

本文评估了微软、亚马逊和Naver的商业名人面部识别API在深度伪造伪造（DI）攻击下的脆弱性，使用了五个深度伪造数据集，包括两个新创建的数据集。研究显示，在非目标场景下，这些API的攻击成功率最高可达99.9%；同时提出了一种防御机制，可将目标攻击的成功率降低至0.02%，非目标攻击的成功率降低至0%。

ABSTRACT

Recently, significant advancements have been made in face recognition technologies using Deep Neural Networks. As a result, companies such as Microsoft, Amazon, and Naver offer highly accurate commercial face recognition web services for diverse applications to meet the end-user needs. Naturally, however, such technologies are threatened persistently, as virtually any individual can quickly implement impersonation attacks. In particular, these attacks can be a significant threat for authentication and identification services, which heavily rely on their underlying face recognition technologies' accuracy and robustness. Despite its gravity, the issue regarding deepfake abuse using commercial web APIs and their robustness has not yet been thoroughly investigated. This work provides a measurement study on the robustness of black-box commercial face recognition APIs against Deepfake Impersonation (DI) attacks using celebrity recognition APIs as an example case study. We use five deepfake datasets, two of which are created by us and planned to be released. More specifically, we measure attack performance based on two scenarios (targeted and non-targeted) and further analyze the differing system behaviors using fidelity, confidence, and similarity metrics. Accordingly, we demonstrate how vulnerable face recognition technologies from popular companies are to DI attack, achieving maximum success rates of 78.0% and 99.9% for targeted (i.e., precise match) and non-targeted (i.e., match with any celebrity) attacks, respectively. Moreover, we propose practical defense strategies to mitigate DI attacks, reducing the attack success rates to as low as 0% and 0.02% for targeted and non-targeted attacks, respectively.

研究动机与目标

• 评估商业面部识别网络API在名人识别场景下的抗深度伪造伪造攻击的鲁棒性。
• 研究不同深度伪造生成方法在目标和非目标攻击场景下对商业API性能的影响。
• 通过保真度、置信度和相似性度量分析系统行为，以理解API在处理深度伪造输入时的响应特性。
• 提出实用的防御机制，显著降低攻击成功率，同时保持真实人脸识别的准确性。
• 提高对深度伪造在真实世界面部识别技术应用中所带来安全与隐私风险的认识。

提出的方法

• 使用最先进的基于GAN的方法构建了两个新的深度伪造数据集，同时使用了三个现有的基准数据集。
• 使用深度伪造图像作为输入，对微软、亚马逊和Naver的名人识别API实施了黑盒攻击。
• 在两种场景下评估攻击性能：目标场景（匹配特定名人）和非目标场景（匹配任意名人）。
• 使用三种度量标准衡量系统行为：保真度（图像质量）、置信度（API预测分数）和相似性（特征嵌入的余弦相似度）。
• 基于异常检测和特征空间分析设计了一种防御机制，用于区分真实人脸与深度伪造图像。
• 将该防御机制集成到REST API管道中，实现实时分类传入的面部识别请求为真实或伪造。

实验结果

研究问题

• RQ1 在目标和非目标场景下，商业名人面部识别API对深度伪造伪造攻击的脆弱性如何？
• RQ2 不同深度伪造生成方法如何影响商业API上伪造攻击的成功率？
• RQ3 商业API在处理深度伪造输入时，其响应行为模式有何差异，具体通过置信度、相似性和保真度度量体现？
• RQ4 能否设计一种实用的防御机制，有效降低深度伪造伪造攻击的成功率，同时不降低真实人脸识别性能？
• RQ5 不同商业API（微软、亚马逊、Naver）对相同深度伪造输入的响应有何差异？

主要发现

• 在某商业API的非目标伪造攻击中，攻击成功率最高达到99.9%，表明存在严重脆弱性。
• 在目标攻击中，成功率最高达到78.0%，表明精确伪造特定名人的行为仍高度可行。
• Naver API对深度伪造表现出最高敏感性，而微软和亚马逊则根据深度伪造生成方法的不同，展现出不同程度的鲁棒性。
• 所提出的防御机制在目标场景下将攻击成功率降低至0.02%，在非目标场景下降低至0%，展现出强大的缓解能力。
• 与真实人脸相比，深度伪造的保真度和置信度分数显著降低，表明API响应中存在可检测的统计偏差。
• 研究证实，不同深度伪造生成方法在规避识别系统方面的能力存在差异，部分基于GAN的方法远比其他方法更有效。