[论文解读] Dictionary-based Debiasing of Pre-trained Word Embeddings

Masahiro Kaneko, Danushka Bollegala|arXiv (Cornell University)|Jan 23, 2021

Natural Language Processing Techniques参考文献 61被引用 5

一句话总结

本文提出一种基于词典的去偏方法，无需预定义的偏见词列表或访问训练数据，即可对预训练词嵌入进行去偏。通过联合优化语义保留、词典定义对齐以及与偏见方向正交，该方法有效消除了性别、种族及其他偏见，同时在基准任务上保持或提升了语义质量。

ABSTRACT

Word embeddings trained on large corpora have shown to encode high levels of unfair discriminatory gender, racial, religious and ethnic biases. In contrast, human-written dictionaries describe the meanings of words in a concise, objective and an unbiased manner. We propose a method for debiasing pre-trained word embeddings using dictionaries, without requiring access to the original training resources or any knowledge regarding the word embedding algorithms used. Unlike prior work, our proposed method does not require the types of biases to be pre-defined in the form of word lists, and learns the constraints that must be satisfied by unbiased word embeddings automatically from dictionary definitions of the words. Specifically, we learn an encoder to generate a debiased version of an input word embedding such that it (a) retains the semantics of the pre-trained word embeddings, (b) agrees with the unbiased definition of the word according to the dictionary, and (c) remains orthogonal to the vector space spanned by any biased basis vectors in the pre-trained word embedding space. Experimental results on standard benchmark datasets show that the proposed method can accurately remove unfair biases encoded in pre-trained word embeddings, while preserving useful semantics.

研究动机与目标

• 解决从预训练词嵌入中去除不公平偏见（如性别、种族和民族偏见）的挑战，而无需依赖预定义的偏见词列表。
• 利用人工编写的词典作为无偏见、客观的词义来源，以指导去偏过程。
• 在去偏过程中保留预训练嵌入中的语义信息，确保其在下游自然语言处理任务中的实用性。
• 开发一种方法，通过在嵌入空间而非词汇空间中操作，实现对词典中未出现词汇的泛化。
• 消除对原始训练语料库访问或对词嵌入训练算法细节的依赖。

提出的方法

• 该方法采用端到端可训练的编码器-解码器框架，将输入词嵌入映射为去偏表示。
• 通过解码器重建去偏输出与原始嵌入之间的关系，实现语义保留。
• 通过训练第二个解码器，使去偏嵌入与词典定义的向量表示对齐，实现词典一致性。
• 通过无参数投影操作，强制去除预训练嵌入空间中与偏见方向对齐的分量，实现偏见正交性。
• 通过多任务学习目标，联合优化语义保留、词典一致性与偏见正交性三个目标。
• 该方法与模型无关，无需访问原始训练数据或了解预训练算法的细节。

实验结果

研究问题

• RQ1 基于词典的方法是否能在无需预定义偏见词列表的情况下，有效去除预训练词嵌入中的多种偏见类型？
• RQ2 与原始嵌入相比，所提出方法在去偏嵌入中保留语义信息的程度如何？
• RQ3 鉴于该方法在嵌入空间中运行，它对词典中未出现的词汇的泛化能力如何？
• RQ4 该方法是否能超越依赖人工整理的词列表来确定偏见方向的现有去偏技术？
• RQ5 将词典定义作为无偏义来源是否能提升下游语义任务的性能？

主要发现

• 所提出方法显著降低了预训练词嵌入中的性别、种族和年龄相关偏见，WEAT及其他偏见评估基准的测量结果表明其有效性。
• 在语义相似性任务中，去偏嵌入保持或略微提升了性能，斯皮尔曼等级相关系数接近或超过原始嵌入的水平。
• 在词类比任务中，该方法保持或增强了性能，在Word2Vec的WS数据集上观察到改进，且GloVe嵌入在所有数据集上均表现提升。
• 可视化结果表明，去偏嵌入在性别、种族和年龄向量空间中更趋近于原点，表明方向性偏见减少。
• 通过在嵌入空间中操作，该方法能良好泛化到未登录词，避免依赖与词典的词汇匹配。
• 尽管词典定义中仍存在部分残留偏见（例如“nurse”和“homemaker”包含性别化语言），但整体去偏性能依然表现强劲。