[论文解读] GenderAlign: An Alignment Dataset for Mitigating Gender Bias in Large Language Models

Tao Zhang, Ziqian Zeng+5 more|arXiv (Cornell University)|Jun 20, 2024

Natural Language Processing Techniques被引用 4

一句话总结

本文介绍了GenderAlign，一个公开可用的8,000样本对齐数据集，旨在减少大语言模型（LLMs）中的性别偏见。通过使用GPT-3.5基于现有数据集和书籍中的种子文本生成成对的“选择”（低偏见、高质量）和“拒绝”（高偏见）响应，作者证明了在GenderAlign上微调LLMs相比现有的HH-RLHF等数据集能显著减少性别偏见，且人类和LLM评估者一致更偏好GenderAlign微调模型的输出。

ABSTRACT

Large Language Models (LLMs) are prone to generating content that exhibits gender biases, raising significant ethical concerns. Alignment, the process of fine-tuning LLMs to better align with desired behaviors, is recognized as an effective approach to mitigate gender biases. Although proprietary LLMs have made significant strides in mitigating gender bias, their alignment datasets are not publicly available. The commonly used and publicly available alignment dataset, HH-RLHF, still exhibits gender bias to some extent. There is a lack of publicly available alignment datasets specifically designed to address gender bias. Hence, we developed a new dataset named GenderAlign, aiming at mitigating a comprehensive set of gender biases in LLMs. This dataset comprises 8k single-turn dialogues, each paired with a "chosen" and a "rejected" response. Compared to the "rejected" responses, the "chosen" responses demonstrate lower levels of gender bias and higher quality. Furthermore, we categorized the gender biases in the "rejected" responses of GenderAlign into 4 principal categories. The experimental results show the effectiveness of GenderAlign in reducing gender bias in LLMs.

研究动机与目标

• 为解决当前缺乏专门针对大语言模型（LLMs）中性别偏见缓解的公开对齐数据集的问题。
• 创建一个高质量、多样化且系统分类的性别偏见与去偏响应数据集，用于微调LLMs。
• 评估所提出数据集在减少多种LLM和基准测试中性别偏见方面的有效性。
• 分析不同数据来源（如书籍、现有数据集）对性别偏见缓解性能的贡献。
• 提供一个可复现、自动化的对齐数据生成流程，聚焦于性别平等。

提出的方法

• 使用GPT-3.5生成8,000个单轮对话，每个对话包含一个“选择”响应（性别无偏见、高质量）和一个“拒绝”响应（性别有偏见）。
• 从两个现有数据集（CORGI-PM、Workplace-Sexism）和五本关于性别与性别角色的书籍中收集性别相关话题的种子文本。
• “选择”响应通过提示GPT-3.5基于对话上下文生成符合性别平等原则的响应。
• “拒绝”响应通过从上下文中移除“选择”响应后，提示一个未对齐的LLM生成响应，从而提高偏见出现的可能性。
• “拒绝”响应中的性别偏见被分类为四类主要类型：性别刻板印象、歧视性语言、制度性性别歧视，以及对边缘化性别的偏见。
• 使用LLM裁判（GPT-3.5、Gemini-Pro、Claude-3-opus）和人类评估者对数据集进行评估，通过偏好排序来衡量偏见缓解效果。

Figure 1: “Chosen” and “ Rejected” response generation workflow. The input is a text either exhibits gender bias or describes gender difference.

实验结果

研究问题

• RQ1 与现有的公开数据集（如HH-RLHF）相比，通过LLM自动生成的对齐数据集是否能有效减少微调后LLM中的性别偏见？
• RQ2 书籍和现有数据集等不同数据来源在GenderAlign数据集中对性别偏见缓解效果的贡献如何？
• RQ3 在BBQ和WinoGender等标准基准数据集上，微调GenderAlign在多大程度上减少了性别偏见？
• RQ4 人类评估者与LLM裁判在偏好微调后基于GenderAlign的模型输出与其他对齐数据集模型输出方面是否存在差异？
• RQ5 使用GPT-3.5进行自动化标注是否会引入新偏见，从而削弱数据集的去偏目标？

主要发现

• 在人类评估者中，微调GenderAlign的模型获得偏好比例为51.1%，在Claude-3-opus中为65.8%，显著优于在HH-RLHF和Harmless数据集上微调的模型。
• 在BBQ基准测试中，微调GenderAlign的Llama2-13B模型表现出最低的性别偏见，同时保持高准确率，优于基础模型和Harmless微调模型。
• 微调GenderAlign的模型在职业相关刻板印象中的性别偏见平均皮尔逊相关系数最低，表明其与刻板性别-职业关联的对齐程度最低。
• 若移除GenderAlign中的基于书籍或基于数据集的任一组成部分，偏见缓解性能均下降，其中Workplace-Sexism（CW）子集的贡献优于书籍部分。
• 人类评估者之间表现出显著的一致性（Fleiss’ Kappa = 0.655），表明不同评估者对GenderAlign微调模型输出的偏好高度一致。
• 尽管Harmless数据集旨在实现对齐，但其未能减少性别偏见，甚至在某些情况下加剧了偏见，凸显了现有对齐数据在偏见缓解方面的局限性。

(a) GenderAlign dataset.