[论文解读] Membership Inference on Word Embedding and Beyond

Saeed Mahloujifar, Huseyin A. Inan+3 more|arXiv (Cornell University)|Jun 21, 2021

Adversarial Robustness in Machine Learning参考文献 43被引用 14

一句话总结

本文表明，即使在无法直接访问嵌入层的情况下，词嵌入仍容易受到黑盒成员推理攻击，这是通过利用嵌入中保留的语义关系实现的。该攻击在词嵌入上的准确率超过90%，并且能有效迁移至文本分类和文本生成等下游任务，为生成模型的黑盒成员推理攻击提供了一种更经济的替代方案。

ABSTRACT

In the text processing context, most ML models are built on word embeddings. These embeddings are themselves trained on some datasets, potentially containing sensitive data. In some cases this training is done independently, in other cases, it occurs as part of training a larger, task-specific model. In either case, it is of interest to consider membership inference attacks based on the embedding layer as a way of understanding sensitive information leakage. But, somewhat surprisingly, membership inference attacks on word embeddings and their effect in other natural language processing (NLP) tasks that use these embeddings, have remained relatively unexplored. In this work, we show that word embeddings are vulnerable to black-box membership inference attacks under realistic assumptions. Furthermore, we show that this leakage persists through two other major NLP applications: classification and text-generation, even when the embedding layer is not exposed to the attacker. We show that our MI attack achieves high attack accuracy against a classifier model and an LSTM-based language model. Indeed, our attack is a cheaper membership inference attack on text-generative models, which does not require the knowledge of the target model or any expensive training of text-generative models as shadow models.

研究动机与目标

• 在现实的黑盒假设下，探究词嵌入是否容易受到成员推理攻击。
• 检查词嵌入中的成员信息泄露是否会持续存在于下游自然语言处理任务（如文本分类和文本生成）中。
• 开发一种无需访问目标模型内部参数或影子模型的成员推理攻击方法。
• 证明可以利用嵌入中的语义关系来推断训练数据的成员身份。
• 评估从嵌入到最终任务模型的成员信息泄露的可转移性，即使嵌入层未被暴露。

提出的方法

• 设计一种利用词嵌入中语义相似性模式的成员推理攻击，重点关注在上下文中具有语义接近性的词对（例如，2020封邮件中的“remote”和“work”）。
• 仅使用目标模型的标签访问（黑盒设置），避免依赖置信度分数或模型参数。
• 构建特殊的词对，这些词对仅在攻击者的数据被用于训练嵌入函数时才具有语义接近性。
• 将该攻击应用于嵌入层及下游模型（如垃圾邮件分类器和基于LSTM的语言模型），以测试信息泄露的持续性。
• 基于词对的余弦相似度定义攻击决策的阈值，提供一种清晰且自包含的阈值计算方法。
• 提出一种新颖的、成本更低的文本生成模型成员推理方法，避免昂贵的影子模型训练。

实验结果

研究问题

• RQ1 一个半诚实攻击者能否仅通过黑盒访问，推断其数据是否被用于训练词嵌入函数？
• RQ2 当嵌入层未被暴露时，词嵌入中的成员信息泄露是否会传播到下游自然语言处理任务（如文本分类和文本生成）？
• RQ3 一种利用嵌入中语义关系而非罕见词记忆化的成员推理攻击，其有效性如何？
• RQ4 能否在不训练影子模型或访问模型置信度分数的情况下，对文本生成模型执行成员推理攻击？
• RQ5 嵌入质量与语义结构对成员推理攻击成功率的影响是什么？

主要发现

• 所提出的成员推理攻击仅通过黑盒标签访问，在词嵌入上的准确率即超过90%。
• 即使嵌入层未被直接访问，词嵌入中的成员信息泄露仍能持续存在于下游分类和文本生成模型中。
• 该攻击在真实世界数据集上表现有效，且无需访问目标模型的确切训练分布。
• 该方法优于先前工作，因为它不依赖罕见中心词或复杂的阈值调优，因此更具实用性与泛化能力。
• 该方法使无需昂贵影子模型训练的文本生成模型成员推理攻击成为可能，显著降低成本。
• 该攻击与先前工作本质不同，其核心在于利用嵌入中的语义关系，而非罕见标记的记忆化。