[论文解读] FairPy: A Toolkit for Evaluation of Prediction Biases and their Mitigation in Large Language Models

Hrishikesh Viswanath, Tianyi Zhang|arXiv (Cornell University)|Feb 10, 2023

Ethics and Social Impacts of AI被引用 6

一句话总结

FairPy 是一个 Python 工具包，将大语言模型中的偏见检测与缓解技术解耦，支持使用标准化指标对 BERT 和 GPT-2 等模型进行即插即用的公平性评估。它支持自定义模型集成、通过微调和后处理进行去偏，并提供了实证结果，显示性别偏见减少（例如，GPT-2 的 WEAT 得分从 1.15 降至 0.8），同时揭示了模型兼容性方面的不一致问题。

ABSTRACT

Recent studies have demonstrated that large pretrained language models (LLMs) such as BERT and GPT-2 exhibit biases in token prediction, often inherited from the data distributions present in their training corpora. In response, a number of mathematical frameworks have been proposed to quantify, identify, and mitigate these the likelihood of biased token predictions. In this paper, we present a comprehensive survey of such techniques tailored towards widely used LLMs such as BERT, GPT-2, etc. We additionally introduce Fairpy, a modular and extensible toolkit that provides plug-and-play interfaces for integrating these mathematical tools, enabling users to evaluate both pretrained and custom language models. Fairpy supports the implementation of existing debiasing algorithms. The toolkit is open-source and publicly available at: \href{https://github.com/HrishikeshVish/Fairpy}{https://github.com/HrishikeshVish/Fairpy}

研究动机与目标

• 解决在多种模型和社交群体中，评估和缓解大语言模型社会偏见的可访问性和通用性工具缺乏的问题。
• 将偏见检测与缓解方法从特定模型和社交语境中解耦，以支持更广泛的复用和可扩展性。
• 提供一个统一的开源 Python 接口，支持与 Hugging Face 模型及自定义模型集成，用于偏见评估。
• 实证分析各种偏见检测与缓解技术在主流预训练模型中的有效性。
• 识别现有指标（尤其是依赖掩码模板的指标）在应用于因果（自回归）模型如 GPT-2 时的兼容性问题。

提出的方法

• 该工具包实现了模块化架构，将偏见检测指标和缓解技术与特定语言模型分离，支持即插即用的集成。
• 支持多种偏见检测方法：词嵌入相似性（如 WEAT）、刻板印象预测评分（如 StereoSet），以及概率分布差异度量（如 Hellinger 距离）。
• 在缓解方面，实现了丢弃正则化微调、通过条件提示进行自去偏，以及嵌入空间的零空间投影。
• 自去偏方法使用条件模板，通过学习的注意力加权调整来降低有偏词的概率：$ p_M(w|x) = \alpha(\Delta(w,x,y)) \cdot p_M(w|x) $。
• 该工具包包含预分割的数据集（如 CrowS、StereoSet），以支持按社交群体的评估，提升运行效率和准确性。
• 它提供统一接口，处理模型特定的嵌入层命名和表示差异，增强模型间的兼容性。

Figure 1: The flow diagram highlights the overall architecture of the model, with the nodes labelled in red denoting the bias detection techniques and the nodes in green highlighting the bias mitigation techniques

实验结果

研究问题

• RQ1 在 BERT 和 GPT-2 等不同预训练语言模型中，哪些偏见检测指标最有效且具有通用性？
• RQ2 不同去偏技术（尤其是采用丢弃正则化微调和自去偏）对大语言模型中的性别和刻板印象偏见有何影响？
• RQ3 在自回归模型（如 GPT-2）中应用基于模板的偏见检测方法（如掩码模板）时，存在哪些关键的兼容性挑战？
• RQ4 现有指标在多大程度上因模型特定的分词方式或嵌入层结构而失效？
• RQ5 按社交群体（如种族、性别）进行评估在多大程度上提升了偏见测量的精度和效率？

主要发现

• GPT-2 在经过丢弃正则化微调后，性别偏见显著降低，WEAT 得分从 1.15（有偏）降至 0.80（去偏），表明词嵌入中的性别关联性减弱。
• 尽管 WEAT 得分降低，但 GPT-2 的 StereoSet 得分从 47.91 上升至 58.4，表明刻板印象预测频率提高，凸显了缓解策略中潜在的权衡问题。
• BERT 经过去偏处理后，WEAT 得分从 1.13 降至 0.68，表明性别偏见减少，但 F1 得分略有下降，从 65.6 降至 64.4。
• 该工具包成功实现了对 StereoSet 和 CrowS 数据集的按群体评估，通过按社交类别分割数据，减少了运行时间并提高了准确性。
• 该工具包识别出模型特定的不兼容性，例如 GPT-2 因分词方式和嵌入层结构差异，无法计算 StereoSet 得分。
• 丢弃正则化微调使 GPT-2 的 Hellinger 距离从 0.14 升至 0.35，表明预测分布的差异性增加，尽管这可能反映了模型不稳定性或度量敏感性。