[论文解读] Model extraction from counterfactual explanations

Ulrich Aïvodji, Alexandre Bolot+1 more|arXiv (Cornell University)|Sep 3, 2020

Adversarial Robustness in Machine Learning参考文献 89被引用 20

一句话总结

本文表明，对抗者可利用反事实解释——常用于提升模型透明度的技术——在极低查询预算下实施高保真、高精度的模型提取攻击。通过利用改变模型预测结果的扰动输入实例，攻击者能够重建出与目标黑箱模型高度相似的替代模型，揭示了可解释人工智能系统中存在关键的隐私风险。

ABSTRACT

Post-hoc explanation techniques refer to a posteriori methods that can be used to explain how black-box machine learning models produce their outcomes. Among post-hoc explanation techniques, counterfactual explanations are becoming one of the most popular methods to achieve this objective. In particular, in addition to highlighting the most important features used by the black-box model, they provide users with actionable explanations in the form of data instances that would have received a different outcome. Nonetheless, by doing so, they also leak non-trivial information about the model itself, which raises privacy issues. In this work, we demonstrate how an adversary can leverage the information provided by counterfactual explanations to build high-fidelity and high-accuracy model extraction attacks. More precisely, our attack enables the adversary to build a faithful copy of a target model by accessing its counterfactual explanations. The empirical evaluation of the proposed attack on black-box models trained on real-world datasets demonstrates that they can achieve high-fidelity and high-accuracy extraction even under low query budgets.

研究动机与目标

• 探究旨在提升模型透明度的反事实解释是否可能意外泄露敏感的模型信息。
• 分析仅使用反事实解释作为查询接口时，实施模型提取攻击的可行性。
• 在不同攻击者假设条件下（包括对训练数据和模型架构的了解程度），评估此类攻击的性能。
• 探讨后霍克解释系统中解释的真实性（多样性、鲁棒性）与模型隐私之间的权衡。
• 评估其对隐私保护机器学习的影响，以及现有防御机制（如查询速率监控和水印技术）的局限性。

提出的方法

• 攻击者查询黑箱模型以获取反事实解释——即通过扰动输入使模型预测结果发生变化的样本。
• 攻击者利用这些反事实解释作为监督学习的训练数据，训练一个替代模型，以复制目标模型的行为。
• 根据攻击者对先验知识的不同水平（如对训练数据分布、模型架构的访问，以及是否在生成解释时使用了训练数据），定义多种攻击者模型。
• 在低查询预算下评估攻击，以模拟现实且隐蔽的威胁场景。
• 通过替代模型的准确率和保真度（例如，与目标模型预测结果的相似性）来衡量性能。
• 在真实世界数据集上测试该方法，使用如随机森林和神经网络等黑箱模型。

实验结果

研究问题

• RQ1 反事实解释是否可被用于对黑箱模型实施高保真度的模型提取攻击？
• RQ2 攻击者对先验知识（如训练数据分布、模型架构）的掌握程度如何影响模型提取的成功率？
• RQ3 反事实解释的多样性是否能提升所提取替代模型的质量？
• RQ4 是否可在低查询预算下实现模型提取，从而使攻击更加隐蔽且难以被检测？
• RQ5 在真实、可信的解释与模型隐私泄露风险之间存在何种权衡？

主要发现

• 所提出的模型提取攻击即使在低查询预算下也能实现高准确率和高保真度，证明了隐蔽攻击的可行性。
• 该攻击在多种黑箱模型（包括随机森林和神经网络）上均有效，且在真实世界数据集上表现良好。
• 当反事实解释需具备多样性以确保可信度时，攻击性能进一步提升，表明解释质量与攻击成功率之间存在直接关联。
• 即使缺乏对训练数据或模型架构的先验知识，攻击者仍能重建出与目标模型行为高度相似的替代模型。
• 现有防御机制（如查询速率监控和水印技术）对本攻击无效，因其查询量低且行为非自适应。
• 结果揭示了透明性（通过真实解释实现）与隐私之间存在根本性矛盾：越真实、越多样化的解释，越可能增加模型被提取的风险。