[论文解读] Membership Inference Attacks on Knowledge Graphs

Yu Wang, Huang, Lifu+2 more|arXiv (Cornell University)|Apr 16, 2021

Privacy-Preserving Technologies in Data参考文献 24被引用 9

一句话总结

本论文首次对知识图谱嵌入（KGE）模型开展了成员推理攻击（MIA）的实证研究，提出了三种攻击类型——迁移攻击（TAs）、基于预测损失的攻击（PLAs）和基于预测正确性的攻击（PCAs），这些攻击利用对模型输出的黑盒访问。在基准数据集和真实世界的医疗与金融知识图谱上，这些攻击取得了高达99.47%的成功率，揭示了由于预测分数未校准且无量纲，以及模型架构不匹配，导致KGE存在严重的隐私泄露问题。

ABSTRACT

Membership inference attacks (MIAs) infer whether a specific data record is used for target model training. MIAs have provoked many discussions in the information security community since they give rise to severe data privacy issues, especially for private and sensitive datasets. Knowledge Graphs (KGs), which describe domain-specific subjects and relationships among them, are valuable and sensitive, such as medical KGs constructed from electronic health records. However, the privacy threat to knowledge graphs is critical but rarely explored. In this paper, we conduct the first empirical evaluation of privacy threats to knowledge graphs triggered by knowledge graph embedding methods (KGEs). We propose three types of membership inference attacks: transfer attacks (TAs), prediction loss-based attacks (PLAs), and prediction correctness-based attacks (PCAs), according to attack difficulty levels. In the experiments, we conduct three inference attacks against four standard KGE methods over three benchmark datasets. In addition, we also propose the attacks against medical KG and financial KG. The results demonstrate that the proposed attack methods can easily explore the privacy leakage of knowledge graphs.

研究动机与目标

• 通过成员推理攻击（MIA）研究知识图谱嵌入（KGE）模型的隐私风险，即推断特定三元组是否曾用于训练。
• 解决黑盒KGE攻击的挑战，即攻击者无法访问模型参数或嵌入向量，仅能依赖输出分数或标签。
• 在有限攻击者知识和未校准预测分数等现实威胁模型下，评估MIA的可行性和有效性。
• 通过基准数据集和敏感的真实世界知识图谱（如医疗和金融知识图谱）展示KGE的脆弱性。
• 通过实证手段揭示现有模型中显著的隐私泄露问题，呼吁开发隐私保护型KGE方法。

提出的方法

• 基于攻击者知识范围提出三种MIA技术：迁移攻击（TAs）使用与目标模型架构相似的影子模型；预测损失基于攻击（PLAs）比较成员与非成员样本的损失值；预测正确性基于攻击（PCAs）仅依赖标签预测结果。
• 设计一种黑盒攻击场景，攻击者仅查询目标模型的输出分数或标签，模拟现实世界中的约束条件。
• 使用与目标知识图谱分布相似的影子数据集，训练TAs中的攻击模型，实现攻击知识的迁移。
• 采用模型特定的评分函数（如TransE/TransH使用基于边距的函数，DistMult/ComplEx使用基于逻辑回归的函数），并分析分数分布以检测训练成员身份。
• 将攻击应用于四种标准KGE模型——TransE、TransH、DistMult、ComplEx——在三个基准数据集（如DDB14）和两个敏感知识图谱（医疗与金融）上进行测试。
• 分析影子模型与目标模型之间架构不匹配的影响，表明当评分行为不同时（如基于边距的影子模型攻击基于逻辑回归的目标模型），攻击会失败。

实验结果

研究问题

• RQ1 在具有有限攻击者知识的现实黑盒环境下，能否有效实施对知识图谱嵌入模型的成员推理攻击？
• RQ2 KGE模型架构的选择（如基于边距的模型与基于逻辑回归的模型）如何影响成员推理攻击的成功率？
• RQ3 KGE中未校准、无量纲的预测分数在多大程度上导致了通过成员推理实现的隐私泄露？
• RQ4 当影子模型与目标模型在架构上不同时，迁移攻击的有效性如何？
• RQ5 成员推理攻击能否成功威胁敏感知识图谱（如医疗和金融知识图谱）？

主要发现

• KGE模型上的成员推理攻击取得了很高的成功率，当影子模型与目标模型使用相同损失函数时，迁移攻击的准确率最高可达99.47%。
• 当影子模型采用不同的评分行为（如基于逻辑回归的影子模型攻击基于边距的目标模型）时，攻击性能下降至50%（即随机猜测水平），原因是分数分布不兼容。
• 即使无法访问模型参数，预测损失基于攻击（PLAs）和预测正确性基于攻击（PCAs）依然有效，仅依赖损失或标签查询。
• 本研究证明，基于敏感数据集（如医疗和金融知识图谱）训练的KGE模型易受成员推理攻击，可能导致患者或财务记录等隐私信息暴露。
• 结果表明，由于KGE输出分数未校准且无量纲，且无法从预测结果反推实体和关系嵌入向量，导致KGE易受MIA影响。
• 本工作揭示了当前KGE方法中存在关键的隐私漏洞，亟需推动隐私保护型KGE模型的开发。