[论文解读] Debiasing Word Embeddings with Nonlinear Geometry

Cheng Lu, Nayoung Kim+1 more|arXiv (Cornell University)|Aug 29, 2022

Hate Speech and Cyberbullying Detection被引用 4

一句话总结

本文提出 JoSEC，一种基于非线性几何的去偏方法，用于消除词嵌入中的联合与交叉社会偏见（如涉及种族和性别等），通过利用个体偏见子空间的交集，而无需额外的人工标注词集。该方法在保持语义实用性的同时有效降低了内在偏见，已在基准数据集上得到验证。

ABSTRACT

Debiasing word embeddings has been largely limited to individual and independent social categories. However, real-world corpora typically present multiple social categories that possibly correlate or intersect with each other. For instance, "hair weaves" is stereotypically associated with African American females, but neither African American nor females alone. Therefore, this work studies biases associated with multiple social categories: joint biases induced by the union of different categories and intersectional biases that do not overlap with the biases of the constituent categories. We first empirically observe that individual biases intersect non-trivially (i.e., over a one-dimensional subspace). Drawing from the intersectional theory in social science and the linguistic theory, we then construct an intersectional subspace to debias for multiple social categories using the nonlinear geometry of individual biases. Empirical evaluations corroborate the efficacy of our approach. Data and implementation code can be downloaded at https://github.com/GitHubLuCheng/Implementation-of-JoSEC-COLING-22.

研究动机与目标

• 解决现有去偏方法将社会类别孤立处理的局限性，特别是在多个类别相交或相关时。
• 研究并缓解两类复杂偏见：联合偏见（由类别的并集导致）与交叉偏见（不与个体类别偏见重叠）。
• 开发一种为多个类别构建偏见子空间的方法，而无需依赖针对交叉群体的预定义词表。
• 在降低多个社会类别中内在偏见的同时，保持词嵌入的语义实用性。
• 提供一种理论基础扎实、基于几何的方法，与交叉性理论和语言学理论相一致。

提出的方法

• 该方法实证观察到，个体偏见子空间（如性别与种族）的交集具有非平凡性，主要沿一维子空间相交。
• 基于交叉性理论和弗里斯特的语言学理论，将交叉偏见子空间形式化为个体偏见子空间的非线性几何交集。
• JoSEC 使用非线性流形学习来建模偏见方向之间的复杂非线性相关性，避免线性组合可能放大的偏见。
• 该方法仅依赖于构成类别的定义词集（如性别化或种族相关术语），无需额外的交叉群体词表。
• 在学习到的交叉偏见子空间上应用改进的硬去偏程序，以中和词嵌入中的偏见。
• 通过内在偏见度量和下游自然语言处理任务对方法进行评估，以衡量去偏效果与语义实用性保持情况。

实验结果

研究问题

• RQ1 在嵌入空间中，多个社会类别（如性别与种族）的个体偏见子空间如何相交？
• RQ2 与个体偏见子空间的线性组合相比，非线性几何方法是否能更好地捕捉联合与交叉偏见？
• RQ3 使用交叉偏见子空间进行去偏是否能保持词嵌入在自然语言处理任务中的语义实用性？
• RQ4 内在偏见减少与下游任务（如毒性分类）中的外在偏见缓解之间是否存在可靠相关性？
• RQ5 JoSEC 是否能在无需人类标注的交叉身份词表的情况下减少偏见？

主要发现

• 不同社会类别（如性别与种族）的个体偏见子空间存在非平凡交集，主要沿一维子空间相交，挑战了线性独立性的假设。
• JoSEC 在无需额外人工标注交叉群体词集的情况下，成功降低了联合与交叉偏见的内在偏见。
• JoSEC 去偏后保持了语义实用性，表现为在命名实体识别、词性标注和词性短语切分任务中性能下降不具统计显著性。
• 该方法在毒性分类任务中未表现出内在偏见减少与外在偏见缓解之间的显著相关性，表明内在度量可能无法可靠预测下游公平性。
• 实证结果证实，JoSEC 优于偏见子空间的线性组合，后者可能因非线性相关性而放大偏见。
• 该方法具有有效性和可泛化性，因其仅依赖于构成类别的标准定义词集，适用于实际部署。