[论文解读] Leave-one-out Distinguishability in Machine Learning

Jiayuan Ye, Anastasia Borovykh+2 more|arXiv (Cornell University)|Sep 29, 2023

Adversarial Robustness in Machine Learning被引用 4

一句话总结

本文提出了一种名为留一法可区分性（Leave-One-Out Distinguishability, LOOD）的新颖分析框架，利用高斯过程（Gaussian Processes）与神经网络高斯过程（Neural Network Gaussian Processes, NNGPs），量化单个训练数据点对机器学习模型输出分布的影响。该方法实现了高效且精确的数据记忆与隐私风险估计——其结果与成员推理攻击性能表现出强烈相关性——同时还能识别最优查询，以高保真度重建训练数据。

ABSTRACT

We introduce an analytical framework to quantify the changes in a machine learning algorithm's output distribution following the inclusion of a few data points in its training set, a notion we define as leave-one-out distinguishability (LOOD). This is key to measuring data **memorization** and information **leakage** as well as the **influence** of training data points in machine learning. We illustrate how our method broadens and refines existing empirical measures of memorization and privacy risks associated with training data. We use Gaussian processes to model the randomness of machine learning algorithms, and validate LOOD with extensive empirical analysis of leakage using membership inference attacks. Our analytical framework enables us to investigate the causes of leakage and where the leakage is high. For example, we analyze the influence of activation functions, on data memorization. Additionally, our method allows us to identify queries that disclose the most information about the training data in the leave-one-out setting. We illustrate how optimal queries can be used for accurate **reconstruction** of training data.

研究动机与目标

• 开发一种高效、分析性的方法，用于测量单个训练数据点对模型预测的影响，特别是在数据记忆与信息泄露的背景下。
• 通过使用高斯过程提供闭式解析解，解决经验性留一法微调在计算上的不可行性。
• 识别出能最大化关于特定训练点信息泄露的查询，从而实现对训练数据的针对性重建。
• 从LOOD的视角，研究模型架构选择（如激活函数）如何影响信息泄露。
• 通过将LOOD与真实世界中的成员推理攻击性能进行相关性分析，验证该框架的准确性。

提出的方法

• 本文使用高斯过程（GPs），特别是神经网络高斯过程（NNGPs），对机器学习模型的输出分布进行建模，以解析方式计算在包含与不包含单个数据点的模型之间统计差异。
• LOOD被定义为在完整数据集与留一法数据集上训练的模型预测分布之间的Kullback-Leibler散度，从而捕捉单个数据点的影响。
• 该方法利用高斯过程后验均值与方差的闭式表达式，无需重新训练即可高效计算LOOD，计算量降低两个数量级以上。
• 框架通过核矩阵近似与矩阵扰动理论推导出LOOD的边界，尤其适用于RBF与球面NNGP核。
• 通过基于梯度的优化方法识别出能最大化LOOD的最优查询，从而实现仅从模型输出中高保真度地重建训练数据。
• 理论分析证明，差异数据点本身是LOOD的驻点，且低秩核矩阵意味着低LOOD，表明信息泄露减少。

实验结果

研究问题

• RQ1 如何在不重新训练的情况下，通过解析方法量化单个训练数据点对模型输出分布的影响？
• RQ2 在留一法设置下，哪些查询能最大化关于特定训练数据点的信息泄露？
• RQ3 激活函数的选择如何通过LOOD度量影响信息泄露？
• RQ4 在仅拥有模型预测的黑盒访问权限与最优查询的前提下，训练数据能在多大程度上被重建？
• RQ5 LOOD与真实世界隐私攻击（如成员推理攻击）的相关性如何？

主要发现

• 在NNGP模型下计算的LOOD与基准数据集上成员推理攻击的成功率表现出强烈相关性，验证了其在度量隐私风险方面的准确性。
• 最大化LOOD的最优查询正是差异数据点本身，即使查询在轻微扰动下仍保持此性质，表明在训练点附近具有高度敏感性。
• 随着查询数量的增加，LOOD基本保持不变，表明关于差异点的所有相关信息均集中于该点的模型预测中。
• 使用LOOD优化查询重建的图像与原始训练数据具有显著相似性，即使优化落在次优查询上，也显示出有效的数据重建能力。
• 理论分析证明，低秩核矩阵意味着低LOOD，表明影响核矩阵秩的架构选择可用于减少信息泄露。
• 在NNGP下计算的平均距离LOOD与深度神经网络进行留一法微调后实际预测差异高度一致，证实了其在度量自影响与记忆现象方面的保真度。