[论文解读] A Marauder's Map of Security and Privacy in Machine Learning

Nicolas Papernot|arXiv (Cornell University)|Nov 3, 2018

Adversarial Robustness in Machine Learning参考文献 29被引用 11

一句话总结

本文提出了一套系统化框架，通过将安全与隐私目标与机器学习的核心目标（如泛化能力和鲁棒性）对齐，实现对机器学习系统的安全与隐私保护。该框架倡导基于Saltzer和Schroeder安全原则的正式策略、准入控制与审计机制，并在通过共识机制聚合标签方面实现了差分隐私与鲁棒学习的关键进展。

ABSTRACT

There is growing recognition that machine learning (ML) exposes new security and privacy vulnerabilities in software systems, yet the technical community's understanding of the nature and extent of these vulnerabilities remains limited but expanding. In this talk, we explore the threat model space of ML algorithms through the lens of Saltzer and Schroeder's principles for the design of secure computer systems. This characterization of the threat space prompts an investigation of current and future research directions. We structure our discussion around three of these directions, which we believe are likely to lead to significant progress. The first encompasses a spectrum of approaches to verification and admission control, which is a prerequisite to enable fail-safe defaults in machine learning systems. The second seeks to design mechanisms for assembling reliable records of compromise that would help understand the degree to which vulnerabilities are exploited by adversaries, as well as favor psychological acceptability of machine learning applications. The third pursues formal frameworks for security and privacy in machine learning, which we argue should strive to align machine learning goals such as generalization with security and privacy desiderata like robustness or privacy. Key insights resulting from these three directions pursued both in the ML and security communities are identified and the effectiveness of approaches are related to structural elements of ML algorithms and the data used to train them. We conclude by systematizing best practices in our community.

研究动机与目标

• 使用基础安全原则识别并系统化机器学习安全与隐私的威胁态势。
• 解决机器学习系统缺乏正式、机器可读的安全与隐私策略的问题。
• 探讨准入控制与审计机制如何在数据来源不可靠的场景下提升机器学习部署的可信度。
• 将泛化与鲁棒性等机器学习目标与安全与隐私需求对齐。
• 提出一种统一的正式形式化方法，使安全与隐私超越特定领域表述（如视觉任务中的ℓp-范数扰动）。

提出的方法

• 以Saltzer和Schroeder的安全原则为视角，分析机器学习威胁模型。
• 提出一套验证与准入控制机制的谱系，以在机器学习系统中强制实现安全失败的默认行为。
• 设计机制以构建可靠的妥协记录，用于审计与心理可接受性。
• 提出一个正式框架，将隐私（通过差分隐私）与鲁棒性统一于机器学习模型的泛化能力之中。
• 在PATE中应用基于共识的标签聚合，以同时提升准确率并减少隐私预算。
• 将安全与隐私重新定义为算法与训练数据的属性，重点在于领域无关的定义。

实验结果

研究问题

• RQ1 如何以精确语义与机器可读性形式化指定机器学习系统的安全与隐私策略？
• RQ2 准入控制与输入输出验证在数据来源不可靠的机器学习系统中，如何提升可信度？
• RQ3 形式化框架如何统一安全与隐私保障与核心机器学习目标（如泛化与鲁棒性）？
• RQ4 机器学习模型中，鲁棒学习、私有学习与泛化之间的关系是什么？
• RQ5 统一的训练时与测试时攻击者模型如何提升我们对机器学习系统鲁棒性的理解？

主要发现

• PATE中的基于共识的标签聚合通过降低每标签的隐私预算，同时提升了模型准确率与隐私保护。
• 教师模型之间的一致性越高，聚合标签越准确，对单个模型投票的敏感性越低，从而提升可靠性。
• 差分隐私将最坏情况下的隐私保障与平均情况下的泛化能力对齐，实现在不牺牲模型性能的前提下实现更强的隐私保护。
• 安全与隐私策略应以一种平衡人类可读性与机器可执行性的形式化方式制定，以确保清晰性与正确性。
• 迫切需要超越图像特定约束（如ℓp-范数扰动）的领域无关鲁棒性表述。
• 将安全失败默认机制与审计机制相结合，可显著提升机器学习应用的心理可接受性与信任度。