[论文解读] Debiasing Pre-trained Contextualised Embeddings

Masahiro Kaneko, Danushka Bollegala|arXiv (Cornell University)|Jan 23, 2021

Topic Modeling参考文献 42被引用 10

一句话总结

该论文提出了一种基于微调的去偏方法，用于预训练上下文嵌入，可在不重新训练模型的前提下于标记级或句子级操作。该方法在多个SOTA模型（BERT、RoBERTa、ALBERT、DistilBERT、ELECTRA）上有效减少了性别偏见，同时保持了语义质量，其中在所有层上进行标记级去偏的效果最佳。

ABSTRACT

In comparison to the numerous debiasing methods proposed for the static non-contextualised word embeddings, the discriminative biases in contextualised embeddings have received relatively little attention. We propose a fine-tuning method that can be applied at token- or sentence-levels to debias pre-trained contextualised embeddings. Our proposed method can be applied to any pre-trained contextualised embedding model, without requiring to retrain those models. Using gender bias as an illustrative example, we then conduct a systematic study using several state-of-the-art (SoTA) contextualised representations on multiple benchmark datasets to evaluate the level of biases encoded in different contextualised embeddings before and after debiasing using the proposed method. We find that applying token-level debiasing for all tokens and across all layers of a contextualised embedding model produces the best performance. Interestingly, we observe that there is a trade-off between creating an accurate vs. unbiased contextualised embedding model, and different contextualised embedding models respond differently to this trade-off.

研究动机与目标

• 解决与静态嵌入相比，上下文嵌入缺乏有效去偏方法的问题。
• 克服由于模型复杂性、上下文依赖性偏见以及重新训练带来的高计算成本所带来的去偏挑战。
• 开发一种轻量级、基于微调的方法，适用于任何预训练上下文模型，且无需修改模型架构。
• 在去除嵌入中编码的刻板性别偏见的同时，保留语义信息。
• 通过标准化基准，系统性地评估多种模型和数据集上的去偏效果。

提出的方法

• 提出一种在标记级或句子级操作的微调方法，以对上下文嵌入进行去偏。
• 独立地对基于Transformer的模型每一层应用该方法，以确保全面去除偏见。
• 使用性别特定的词向量（女性和男性）作为偏见方向，引导去偏过程。
• 通过计算包含目标词的所有句子的平均隐藏状态，估计其性别偏见表征。
• 通过投影调整嵌入，以最小化与性别方向向量的余弦相似度，同时保持语义接近性。
• 对所有标记和层统一应用去偏，以避免深层或浅层表示中残留偏见。

实验结果

研究问题

• RQ1 基于微调的方法是否能在不重新训练的前提下有效去偏预训练上下文嵌入？
• RQ2 在标记级与句子级进行去偏，对偏见减少和语义保持的影响有何不同？
• RQ3 对上下文模型的所有层进行去偏，是否优于选择性地对部分层进行去偏？
• RQ4 不同上下文模型（如BERT、RoBERTa、ALBERT）在相同去偏流程下，其偏见减少效果和性能权衡表现如何？
• RQ5 去偏在多大程度上能保持语义信息，同时减少刻板性别关联？

主要发现

• 在上下文模型的所有层上应用标记级去偏，能最有效地减少性别偏见，整体性能最佳。
• 仅对第一层和最后一层进行去偏是不够的，因为偏见仍会残留在中间层，尤其在DistilBERT等模型中更为明显。
• 所提出的方法在SEAT和MNLI基准上成功减少了所有评估模型（包括BERT、RoBERTa、ALBERT、DistilBERT和ELECTRA）的性别偏见。
• 模型准确率与公平性之间存在权衡：RoBERTa和ALBERT表现出不同的去偏行为——RoBERTa去偏不足，ALBERT去偏过度，表明不同模型对去偏过程的响应存在差异。
• 可视化显示，刻板词的去偏嵌入向零性别得分方向移动，表明性别关联性降低，尽管分布变化因模型而异。
• 该方法保持了语义质量，表现为去偏后在基准任务上下游性能保持一致。