[论文解读] Measuring Social Bias in Knowledge Graph Embeddings

Joseph B. Fisher, Dave Palfrey+2 more|arXiv (Cornell University)|Dec 5, 2019

Misinformation and Its Impacts参考文献 24被引用 10

一句话总结

本文首次研究知识图谱嵌入中的社会偏见，提出一种新颖的度量方法，通过比较职业与性别、种族或国籍的嵌入相似性来衡量偏见。研究发现，Wikidata 和 Freebase 的嵌入编码了有害的刻板印象——例如，男性更常与银行家相关联，女性更常与家庭主妇相关联——凸显了在下游 NLP 应用中使用知识图谱嵌入时进行偏见缓解的必要性。

ABSTRACT

It has recently been shown that word embeddings encode social biases, with a harmful impact on downstream tasks. However, to this point there has been no similar work done in the field of graph embeddings. We present the first study on social bias in knowledge graph embeddings, and propose a new metric suitable for measuring such bias. We conduct experiments on Wikidata and Freebase, and show that, as with word embeddings, harmful social biases related to professions are encoded in the embeddings with respect to gender, religion, ethnicity and nationality. For example, graph embeddings encode the information that men are more likely to be bankers, and women more likely to be homekeepers. As graph embeddings become increasingly utilized, we suggest that it is important the existence of such biases are understood and steps taken to mitigate their impact.

研究动机与目标

• 调查知识图谱嵌入是否以与词嵌入类似的方式编码社会偏见。
• 识别现有词嵌入偏见度量方法（如 WEAT）在应用于知识图谱嵌入时的局限性。
• 开发一种新的、适用于知识图谱嵌入偏见度量的方法，利用嵌入微调和相似性比较。
• 通过实证证明，现实世界知识图谱中（例如男性银行家更多）的分布不均衡会导致嵌入中编码刻板印象。
• 提高对这类偏见在下游 NLP 任务中潜在危害的认识，并倡导采用去偏方法。

提出的方法

• 提出一种基于比较职业嵌入与性别化或人口统计属性嵌入平均相似性的新偏见度量框架。
• 采用微调方法将实体嵌入对齐至敏感属性类别，以实现嵌入方向的有意义比较。
• 定义一个评分函数，计算某职业嵌入与某一人口群体（如男性或女性）平均嵌入之间的余弦相似度。
• 将该方法应用于在 Wikidata 和 Freebase 上训练的 TransE 和 ComplEx 嵌入，使用 200 维向量和带负采样的交叉熵损失。
• 将偏见得分计算为某职业与两个不同人口群体（如男性与女性）之间平均相似度的差异，得分越高表示偏见越强。
• 使用归一化度量以考虑群体间实体数量的差异，确保对稀疏性和分布偏斜的鲁棒性。

实验结果

研究问题

• RQ1 知识图谱嵌入是否以与词嵌入类似的方式编码与性别、种族、民族和国籍相关的社会偏见？
• RQ2 为何传统词嵌入偏见度量方法（如 WEAT）不适用于知识图谱嵌入？
• RQ3 能否通过利用嵌入微调和相似性比较，开发一种有效度量知识图谱嵌入偏见的新方法？
• RQ4 现实世界知识图谱数据中的不平衡（例如男性专业人士多于女性）在多大程度上导致了嵌入中的偏见？
• RQ5 不同嵌入模型（如 TransE 与 ComplEx）在编码这些偏见方面有何差异？

主要发现

• Wikidata 和 Freebase 的知识图谱嵌入编码了与性别、宗教、种族和国籍相关的有害社会偏见，尤其体现在职业关联上。
• 男性在银行家和侦探等职业上的关联显著更强，而女性则更常与家庭主妇和模特等角色相关联，两个数据集中均显示出较高的正向偏见得分。
• 在 Freebase 中，'assn. football player' 这一职业的男性偏见得分为 13,321，而女性仅为 227，表明编码了强烈的性别差异。
• 职业如 'nun' 和 'gravure idol' 显示出极端的女性偏见，得分分别为 41 和 62，反映出刻板的性别角色。
• 所提出的度量方法即使在 ComplEx 等复杂模型中也能成功识别出最具有性别特征的职业，而 WEAT 在此类模型中则不适用。
• 本研究证实，知识图谱中现实世界的数据不平衡会直接转化为嵌入中的偏见，因此去偏对于构建公平的 NLP 系统至关重要。