[论文解读] Defending against Machine Learning based Inference Attacks via Adversarial Examples: Opportunities and Challenges

Jinyuan Jia, Neil Zhenqiang Gong|arXiv (Cornell University)|Sep 17, 2019

Adversarial Robustness in Machine Learning参考文献 86被引用 7

一句话总结

本文提出一种新颖的防御机制，通过利用对抗性样本污染公开数据，使基于机器学习的推理攻击者分类器失效。通过向公开数据注入精心设计的噪声以生成对抗性样本，该方法利用机器学习分类器对误判私有属性的脆弱性，为计算上不可行或效用下降的隐私保护技术提供了一种实用替代方案。

ABSTRACT

As machine learning (ML) becomes more and more powerful and easily accessible, attackers increasingly leverage ML to perform automated large-scale inference attacks in various domains. In such an ML-equipped inference attack, an attacker has access to some data (called public data) of an individual, a software, or a system; and the attacker uses an ML classifier to automatically infer their private data. Inference attacks pose severe privacy and security threats to individuals and systems. Inference attacks are successful because private data are statistically correlated with public data, and ML classifiers can capture such statistical correlations. In this chapter, we discuss the opportunities and challenges of defending against ML-equipped inference attacks via adversarial examples. Our key observation is that attackers rely on ML classifiers in inference attacks. The adversarial machine learning community has demonstrated that ML classifiers have various vulnerabilities. Therefore, we can turn the vulnerabilities of ML into defenses against inference attacks. For example, ML classifiers are vulnerable to adversarial examples, which add carefully crafted noise to normal examples such that an ML classifier makes predictions for the examples as we desire. To defend against inference attacks, we can add carefully crafted noise into the public data to turn them into adversarial examples, such that attackers' classifiers make incorrect predictions for the private data. However, existing methods to construct adversarial examples are insufficient because they did not consider the unique challenges and requirements for the crafted noise at defending against inference attacks. In this chapter, we take defending against inference attacks in online social networks as an example to illustrate the opportunities and challenges.

研究动机与目标

• 应对机器学习驱动的推理攻击在在线社交网络及其他系统中对用户隐私构成的日益增长的威胁。
• 克服现有防御方法（如博弈论方法和差分隐私）的局限性，这些方法存在计算成本高或效用-隐私权衡差的问题。
• 探索将对抗性样本作为新型防御机制，通过将机器学习分类器的弱点转化为对推理攻击的防护措施。
• 研究使用对抗性噪声扰乱攻击者推理流水线的可行性与挑战，同时保持公开数据的效用。

提出的方法

• 向公开数据注入对抗性噪声，使攻击者的机器学习分类器错误预测私有属性，从而利用分类器已知的脆弱性。
• 使用对抗性样本生成技术，将合法的公开数据转化为对抗性样本，导致攻击者模型下的误分类。
• 利用对抗性样本在不同模型间的可迁移性，提高防御对多样化攻击者模型的鲁棒性。
• 考虑使用集成模型或高噪声对抗性样本生成方法，以增强可迁移性，提升对鲁棒分类器的有效性。
• 探索数据中毒作为互补防御策略，通过注入带有对抗性公开数据的虚假用户，污染攻击者的训练数据。
• 考虑攻击者的自适应行为，包括噪声检测和Sybil检测，以评估防御在真实攻击场景下的鲁棒性。

实验结果

研究问题

• RQ1 能否有效利用对抗性样本通过污染公开数据的方式，破坏攻击者分类器，从而防御推理攻击？
• RQ2 对抗性样本的可迁移性如何影响此类防御在不同攻击者模型上的成功率？
• RQ3 与传统隐私保护方法相比，使用对抗性噪声在效用损失与隐私增益之间存在何种权衡？
• RQ4 具备检测对抗性噪声或虚假用户能力的自适应攻击者，如何影响对抗性防御策略的有效性？
• RQ5 当鲁棒分类器（如通过对抗训练或知识蒸馏训练的模型）用于推理攻击时，是否仍可能被对抗性样本欺骗？

主要发现

• 基于对抗性样本的防御对标准机器学习分类器在推理攻击中具有显著效果，因为精心构造的噪声可导致私有属性的显著误判。
• 即使攻击者使用鲁棒分类器（如通过对抗训练或防御蒸馏训练的模型），该防御依然有效。
• 对抗性样本的可迁移性至关重要；通过集成模型或增加噪声可提升可迁移性，从而增强防御的鲁棒性。
• 现有防御方法（如AttriGuard）在面对基于低秩近似的噪声检测时仍具有效性，表明其对基本检测方法具有鲁棒性。
• 通过虚假用户实施的数据中毒可扰乱攻击者训练数据，但攻击者可能通过Sybil检测技术识别并移除此类虚假用户。
• 尽管差分隐私和博弈论防御在理论上成立，但其存在高计算成本或效用-隐私权衡差的问题，使得基于对抗性样本的防御成为更具实用性的替代方案。