[论文解读] Disclosure and Mitigation of Gender Bias in LLMs

Xiangjue Dong, Yibo Wang+2 more|arXiv (Cornell University)|Feb 17, 2024

Business Law and Ethics被引用 5

一句话总结

论文提出一种使用条件生成的间接探测框架，在不明确性别提及的情况下揭示大型语言模型（LLMs）中的性别偏见，并在多种模型上评估三种缓解策略（超参数调优、指令引导、去偏调优）。

ABSTRACT

Large Language Models (LLMs) can generate biased responses. Yet previous direct probing techniques contain either gender mentions or predefined gender stereotypes, which are challenging to comprehensively collect. Hence, we propose an indirect probing framework based on conditional generation. This approach aims to induce LLMs to disclose their gender bias even without explicit gender or stereotype mentions. We explore three distinct strategies to disclose explicit and implicit gender bias in LLMs. Our experiments demonstrate that all tested LLMs exhibit explicit and/or implicit gender bias, even when gender stereotypes are not present in the inputs. In addition, an increased model size or model alignment amplifies bias in most cases. Furthermore, we investigate three methods to mitigate bias in LLMs via Hyperparameter Tuning, Instruction Guiding, and Debias Tuning. Remarkably, these methods prove effective even in the absence of explicit genders or stereotypes.

研究动机与目标

• 推动需揭示LLM输出中超越显性刻板印象的性别偏见的必要性。
• 构建一种间接探测框架，迫使LLMs在没有明确性别词的情况下披露性别偏见。
• 定义量化显性和隐性偏见的指标，并对多种LLMs进行基准评测。
• 评估并比较三种去偏策略，找出最有效方法。

提出的方法

• 引入条件生成探测，以在不涉及明确性别的情况下诱发性别偏见。
• 三种探测策略：自然来源输入、LLM 生成的输入，以及包含刻板印象的模板输入。
• 定义显性偏见指标 GAS (Gender Attribute Score) 和隐性偏见指标 GLD (Gender Logits Difference) 和 ADD (Attribute Distribution Distance)。
• 通过 LLaMA2、Vicuna、Falcon、OPT 等模型家族对十个 LLM 进行探测，以在每种策略下评估偏见。
• 评估三种缓解方法：Hyperparameter Tuning (temperature, Top-p, Top-K)、Instruction Guiding、和 Debias Tuning。
• Debias Tuning 使用基于 QLoRA 的方法，结合损失 L = Ld + Lg + Ll，以对齐性别分布并减少偏见。

实验结果

研究问题

• RQ1 RQ1: 当不要求明确的刻板印象时，不同探测策略下的 LLMs 的表现如何？
• RQ2 RQ2: 中性探针是否比 Template-based prompts 在偏见披露方面更稳定、也更合适？
• RQ3 RQ3: 更大或经过对齐训练的模型是否表现出更多或更少的偏见，以及缓解策略在不同设置下的表现如何？

主要发现

• 所有测试的十个 LLM 在至少某种探测策略下表现出显性和/或隐性性别偏见。
• 基于模板的提示产生最强的偏见信号，而中性探针在模型和输入之间更稳定地揭示偏见。
• 更大或对齐的模型往往表现出更强的显性偏见，但在某些条件下隐性偏见（GLD/ADD）可能降低。
• 指令引导在许多情况下减少显性和隐性偏见，特别是对 Naturally-sourced inputs。
• Debias Tuning 始终在跨数据集和模型变体中实现最强的偏见缓解，超越 Hyperparameter Tuning 和 Instruction Guiding。
• 即使输入中没有显式性别或刻板印象，Debias Tuning 仍然有效。