[论文解读] Information Leakage in Embedding Models

Congzheng Song, Ananth Raghunathan|arXiv (Cornell University)|Mar 31, 2020

Adversarial Robustness in Machine Learning参考文献 75被引用 12

一句话总结

本文表明，预训练嵌入模型会泄露超出语义意义的敏感信息，包括可恢复的输入文本、作者身份以及罕见训练样本的成员信息。通过反演攻击、属性推断攻击和成员身份推断攻击，作者发现50%至70%的输入词可被恢复（F1分数为0.5至0.7），且仅需少量标注样本即可推断作者身份，进而提出通过对抗训练进行防御，可在极小损失模型效用的前提下减少信息泄露。

ABSTRACT

Embeddings are functions that map raw input data to low-dimensional vector representations, while preserving important semantic information about the inputs. Pre-training embeddings on a large amount of unlabeled data and fine-tuning them for downstream tasks is now a de facto standard in achieving state of the art learning in many domains. We demonstrate that embeddings, in addition to encoding generic semantics, often also present a vector that leaks sensitive information about the input data. We develop three classes of attacks to systematically study information that might be leaked by embeddings. First, embedding vectors can be inverted to partially recover some of the input data. As an example, we show that our attacks on popular sentence embeddings recover between 50\%--70\% of the input words (F1 scores of 0.5--0.7). Second, embeddings may reveal sensitive attributes inherent in inputs and independent of the underlying semantic task at hand. Attributes such as authorship of text can be easily extracted by training an inference model on just a handful of labeled embedding vectors. Third, embedding models leak moderate amount of membership information for infrequent training data inputs. We extensively evaluate our attacks on various state-of-the-art embedding models in the text domain. We also propose and evaluate defenses that can prevent the leakage to some extent at a minor cost in utility.

研究动机与目标

• 调查嵌入模型是否无意中泄露了超出语义内容的敏感信息。
• 开发系统性攻击方法，针对输入重建、敏感属性推断和嵌入向量中的成员身份推断。
• 评估最先进的文本嵌入模型中信息泄露的程度。
• 提出并评估可减少泄露同时保持模型效用的防御方法。

提出的方法

• 提出基于梯度优化的嵌入反演攻击，从句子嵌入向量中重建输入文本。
• 利用少量标注数据集开发属性推断攻击，训练模型以从嵌入向量中预测敏感属性（如作者身份）。
• 基于嵌入向量与训练数据之间的相似性分数，制定成员身份推断攻击，针对罕见输入。
• 在嵌入模型训练过程中应用对抗训练，以最小化信息泄露，特别针对反演攻击和属性推断攻击。
• 在包括BERT、SBERT和Universal Sentence Encoder在内的多个最先进的模型上评估攻击与防御方法。
• 使用F1分数、准确率和AUC量化攻击性能与效用权衡。

实验结果

研究问题

• RQ1 在多大程度上可从句子嵌入向量中重建输入文本？
• RQ2 是否可仅用极少标注数据从嵌入向量中推断出如作者身份等敏感属性？
• RQ3 嵌入模型是否通过向量相似性泄露了关于罕见训练样本的成员信息？
• RQ4 对抗训练是否能有效减少信息泄露，同时不显著降低模型效用？

主要发现

• 嵌入反演攻击成功恢复了50%至70%的输入词，在句子级重建任务中F1分数达到0.5至0.7。
• 仅需少量标注的嵌入向量，即可高准确率地推断出文本输入的作者身份，表明存在强烈的属性泄露。
• 成员身份推断攻击通过将嵌入相似性分数与训练数据进行比较，成功识别出罕见训练样本，表明存在中等程度的训练数据成员信息泄露。
• 对抗训练防御措施有效降低了反演攻击和属性推断攻击的成功率，尽管模型效用出现轻微但可测量的下降。
• 本研究揭示，嵌入向量并非仅仅是语义表示，还携带可被利用的敏感信息，挑战了其部署安全性的假设。
• 发现对大规模嵌入模型而言，差分隐私在计算上不可行，原因在于参数量过高且对超参数高度敏感。