[论文解读] Extraction of Complex DNN Models: Real Threat or Boogeyman?

Buse Gul Atli, Sebastian Szyller+3 more|arXiv (Cornell University)|Oct 11, 2019

Adversarial Robustness in Machine Learning参考文献 41被引用 7

一句话总结

本文在真实条件下评估了 Knockoff nets 这一最先进的模型提取攻击对复杂深度神经网络（DNNs）的实际威胁。结果表明，尽管该攻击在理想假设下有效，但当 API 输出被限制为仅类别标签，或查询数据分布与受害模型训练数据相同时，其成功率显著下降，导致现有检测方法失效。作者提出一种基于检测分布外查询的防御机制，检测准确率最高可达 99%，但研究进一步表明，更现实的攻击者仍可规避检测并成功提取模型。

ABSTRACT

Recently, machine learning (ML) has introduced advanced solutions to many domains. Since ML models provide business advantage to model owners, protecting intellectual property of ML models has emerged as an important consideration. Confidentiality of ML models can be protected by exposing them to clients only via prediction APIs. However, model extraction attacks can steal the functionality of ML models using the information leaked to clients through the results returned via the API. In this work, we question whether model extraction is a serious threat to complex, real-life ML models. We evaluate the current state-of-the-art model extraction attack (Knockoff nets) against complex models. We reproduce and confirm the results in the original paper. But we also show that the performance of this attack can be limited by several factors, including ML model architecture and the granularity of API response. Furthermore, we introduce a defense based on distinguishing queries used for Knockoff nets from benign queries. Despite the limitations of the Knockoff nets, we show that a more realistic adversary can effectively steal complex ML models and evade known defenses.

研究动机与目标

• 评估通过 Knockoff nets 实现的模型提取是否对复杂的真实 DNN 构成现实威胁。
• 评估攻击者能力变化（如查询分布、API 输出粒度、替代模型架构）对攻击效果的影响。
• 设计并评估一种通过区分分布内与分布外输入来检测 Knockoff net 查询的防御机制。
• 研究当攻击者使用与受害模型训练数据相同分布的数据时，现有检测技术是否仍有效。
• 确定在无法检测的提取攻击面前，应优先采用水印或指纹技术作为补充防御措施。

提出的方法

• 在原始论文设定下，对五个复杂 DNN 使用相同配置复现并验证了原始 Knockoff nets 攻击。
• 实现了一种防御机制，通过查询分布与受害模型训练数据之间的统计距离度量，将查询分类为分布内或分布外。
• 在不同条件（包括不同替代模型架构和 API 输出格式：概率向量 vs. 预测类别）下评估了该防御的检测性能。
• 通过消融研究评估了查询多样性、数据分布一致性以及模型架构不匹配对攻击成功率的影响。
• 将所提防御与先前检测方法（如 PRADA）进行比较，重点考察其在 Knockoff nets 上的适用性及抗规避能力。
• 探讨了当攻击者使用与受害模型训练数据相同分布的数据时，现有防御机制的局限性，此时检测方法将完全失效。

实验结果

研究问题

• RQ1 在何种真实条件下，Knockoff nets 攻击对复杂 DNN 仍具有效性？
• RQ2 减少 API 输出粒度（例如，仅返回预测类别而非完整概率向量）如何影响模型提取攻击的成功率？
• RQ3 通过区分分布内与分布外查询是否能有效检测 Knockoff net 查询，同时不降低合法用户的使用体验？
• RQ4 当攻击者可访问与受害模型训练数据相同分布的数据时，其对现有检测机制的破坏程度有多大？
• RQ5 当防御机制存在时，是否仍可能发生有效的模型提取？若如此，需要何种替代性对策？

主要发现

• 当使用完整概率向量输出和分布外查询时，Knockoff nets 攻击在替代模型上的准确率可达 53.5% 至 94.8%，证实其在原始攻击者模型下的有效性。
• 所提防御机制通过区分分布内与分布外输入，最高可检测 99% 的恶意查询，表明在理想条件下具备极高的检测准确率。
• 当 API 仅返回预测类别而非完整概率向量时，攻击效果显著下降，攻击成功率明显降低。
• 当攻击者使用与受害模型训练数据相同分布的无标签数据时，攻击变得高度有效且无法被现有方法（包括所提防御）检测到。
• 替代模型架构与受害模型架构不匹配会进一步降低攻击性能，表明架构相似性是攻击成功的关键因素。
• 本研究结论认为，现实攻击者仍可成功提取复杂 DNN 并规避检测，因此必须依赖水印等威慑性机制以保护模型所有权。