[论文解读] Training Data Leakage Analysis in Language Models

Huseyin A. Inan, Osman Ramadan+5 more|arXiv (Cornell University)|Jan 14, 2021

Privacy-Preserving Technologies in Data参考文献 45被引用 22

一句话总结

本文提出了一种方法，用于在强黑盒威胁模型下检测和量化语言模型中的用户级数据泄露，其中攻击者仅能访问模型的前k个预测结果。该方法引入了两种新颖的度量指标，用于衡量模型从训练数据中重现独特句子片段的能力，从而实现不同模型间的隐私比较，并评估差分隐私和API加固等缓解措施的效果。

ABSTRACT

Recent advances in neural network based language models lead to successful deployments of such models, improving user experience in various applications. It has been demonstrated that strong performance of language models comes along with the ability to memorize rare training samples, which poses serious privacy threats in case the model is trained on confidential user content. In this work, we introduce a methodology that investigates identifying the user content in the training data that could be leaked under a strong and realistic threat model. We propose two metrics to quantify user-level data leakage by measuring a model's ability to produce unique sentence fragments within training data. Our metrics further enable comparing different models trained on the same data in terms of privacy. We demonstrate our approach through extensive numerical studies on both RNN and Transformer based models. We further illustrate how the proposed metrics can be utilized to investigate the efficacy of mitigations like differentially private training or API hardening.

研究动机与目标

• 研究在训练数据包含机密用户内容（尤其是罕见或敏感序列）的语言模型中，隐私泄露的风险。
• 解决以一种对模型开发者和部署者具有可操作性的方式量化用户级隐私泄露的挑战。
• 开发度量指标，以实现对在相同数据上训练的不同模型（如差分隐私模型与标准模型）之间隐私特性的公平比较。
• 利用所提出的度量指标评估差分隐私和API加固等隐私保护技术的有效性。
• 为现实世界系统中语言模型部署生命周期内的隐私评估提供一个实用框架。

提出的方法

• 定义一种强黑盒威胁模型，其中对手只能访问给定输入前缀下模型的前k个标记预测结果。
• 设计一种探测程序，通过迭代地使用训练数据中的上下文提示模型，以重建训练数据中的独特句子片段。
• 引入两种度量指标：(1) 从给定上下文恢复独特片段的概率；(2) 每个上下文可恢复的独特片段的平均数量。
• 使用真实世界数据集，对基于RNN和Transformer的语言模型应用该方法，以评估隐私泄露情况。
• 利用度量指标比较使用差分隐私和未使用差分隐私训练的模型，并评估API加固对泄露的影响。
• 利用度量指标分析不同模型架构和数据分布下的模型行为，重点关注罕见或敏感的训练序列。

实验结果

研究问题

• RQ1 当使用原始上下文作为提示时，语言模型在多大程度上能够重建其训练数据中的独特句子片段？
• RQ2 不同架构（如RNN与Transformer）在重建罕见或敏感训练序列方面的能力有何差异？
• RQ3 差分隐私和API加固在降低模型泄露用户级数据能力方面的有效性如何？
• RQ4 所提出的度量指标能否可靠地比较在相同数据集上训练的不同模型的隐私特性？
• RQ5 在现实威胁模型下，模型记忆化与用户重新识别可能性之间存在何种关系？

主要发现

• 所提出的度量指标能够有效量化语言模型中的用户级数据泄露，且在使用差分隐私与未使用差分隐私训练的模型之间表现出可测量的差异。
• 使用差分隐私训练的模型在重建独特句子片段方面的能力显著低于非私有基线模型，证实了DP在缓解泄露方面的有效性。
• 即使在强黑盒威胁模型（仅允许访问前k个预测）下，许多模型仍能重建罕见的训练片段，表明隐私风险依然存在。
• 该框架表明，通过限制仅访问前k个预测结果的API加固措施可以减少泄露，但无法完全消除，尤其对高度记忆化的模型而言。
• 度量指标显示，RNN和Transformer模型表现出不同的泄露模式，其中Transformer模型对罕见序列的记忆化能力更强。
• 该研究证实，现有度量指标（如exposure）不足以进行用户级隐私评估；所提出的度量指标提供了更直接、更具可操作性的隐私泄露风险衡量方式。