[论文解读] Explainable Black-Box Attacks Against Model-based Authentication

Washington García, Joseph I. Choi+3 more|arXiv (Cornell University)|Sep 28, 2018

User Authentication and Security Systems参考文献 35被引用 10

一句话总结

该论文提出了一种新颖的、查询效率高的黑盒攻击方法，针对基于模型的认证系统，利用可解释人工智能（XAI）技术（如LIME）在不事先了解目标系统的情况下逆向推导决策边界。该攻击在面部认证系统上仅需少于130次查询即可成功伪装，在主机认证系统上仅需少于100次查询，通过仅利用二元认证反馈（成功/失败）结合XAI技术推断模型行为。

ABSTRACT

Establishing unique identities for both humans and end systems has been an active research problem in the security community, giving rise to innovative machine learning-based authentication techniques. Although such techniques offer an automated method to establish identity, they have not been vetted against sophisticated attacks that target their core machine learning technique. This paper demonstrates that mimicking the unique signatures generated by host fingerprinting and biometric authentication systems is possible. We expose the ineffectiveness of underlying machine learning classification models by constructing a blind attack based around the query synthesis framework and utilizing Explainable-AI (XAI) techniques. We launch an attack in under 130 queries on a state-of-the-art face authentication system, and under 100 queries on a host authentication system. We examine how these attacks can be defended against and explore their limitations. XAI provides an effective means for adversaries to infer decision boundaries and provides a new way forward in constructing attacks against systems using machine learning models for authentication.

研究动机与目标

• 展示基于模型的认证系统易受无需了解目标特征或模型置信度分数的黑盒攻击影响。
• 探究可解释人工智能（XAI）技术（如LIME）是否可被攻击者重新利用，以推断认证模型的决策边界。
• 开发一种查询效率高的攻击框架，仅依赖有限查询次数和来自认证预言机的二元（成功/失败）反馈。
• 评估XAI辅助的扰动策略（如随机像素扰动和VAE潜在空间扰动）在最先进的生物识别和主机认证系统上的有效性。
• 探索此类攻击在真实认证场景中的固有局限性及潜在防御措施。

提出的方法

• 该攻击使用查询生成框架，基于对认证预言机的迭代探测，仅利用二元反馈（成功或失败）生成对抗性输入。
• 应用基于LIME的XAI技术，通过在扰动输入上生成局部且忠实的预测解释，来解析模型行为。
• 通过在LIME解释建议的方向上扰动输入特征，构建对抗性样本，重点关注影响分类结果的最具影响力的特征。
• 采用两种扰动策略：随机像素扰动和使用变分自编码器（VAE）的潜在空间操作，均受LIME解释引导，以最大化误分类的可能性。
• 该方法完全盲化——仅依赖预言机的二元输出和XAI驱动的特征重要性分析，无需事先了解目标的生物特征或系统特征。
• 通过基于XAI洞察的重复、有针对性的查询，该方法可泛化应用于不同认证模态，包括人脸识别和主机指纹识别，从而建模决策边界。

实验结果

研究问题

• RQ1 XAI技术（如LIME）是否可被攻击者有效重新利用，仅通过二元反馈推断黑盒认证模型的决策边界？
• RQ2 在针对最先进的生物识别和基于主机的认证系统时，该攻击在查询次数上的效率如何？
• RQ3 XAI引导的扰动策略（如随机像素或VAE潜在空间）在欺骗认证模型方面，相较于传统图像失真方法有多大的优势？
• RQ4 当模型的置信度分数或类别级输出未暴露时，此类攻击的固有局限性是什么？
• RQ5 该攻击是否可在完全不了解目标特征的前提下成功，从而在真实世界场景中真正实现无感知且实用？

主要发现

• 该攻击在最先进的面部认证系统上仅需少于130次查询即可成功伪装用户，证明其高效且查询开销极低。
• 对于基于主机的认证系统，该攻击在少于100次查询内即达成成功，证实其在不同认证模态下的有效性。
• XAI技术（如LIME）使攻击者即使无法访问置信度分数或类别概率，也能高保真度地推断出模型的决策边界。
• 使用VAE潜在空间扰动生成的对抗性输入比随机像素扰动更具现实感，且在绕过认证方面更为有效。
• 该攻击完全盲化——无需了解目标的生物特征或系统特征——使其在真实世界威胁模型中极具实用性。
• 本研究揭示，基于模型的认证系统不仅易受定向攻击，也易受基于查询的、XAI增强的决策边界逆向工程攻击。