[论文解读] A Survey on Fairness in Large Language Models

Yingji Li, Mengnan Du+3 more|arXiv (Cornell University)|Aug 20, 2023

Ethics and Social Impacts of AI被引用 21

一句话总结

本综述评估中等规模 LLM（预训练/微调）与大型 LLM（提示）中的公平性，涵盖评估指标、去偏方法、偏见原因及未来方向。

ABSTRACT

Large Language Models (LLMs) have shown powerful performance and development prospects and are widely deployed in the real world. However, LLMs can capture social biases from unprocessed training data and propagate the biases to downstream tasks. Unfair LLM systems have undesirable social impacts and potential harms. In this paper, we provide a comprehensive review of related research on fairness in LLMs. Considering the influence of parameter magnitude and training paradigm on research strategy, we divide existing fairness research into oriented to medium-sized LLMs under pre-training and fine-tuning paradigms and oriented to large-sized LLMs under prompting paradigms. First, for medium-sized LLMs, we introduce evaluation metrics and debiasing methods from the perspectives of intrinsic bias and extrinsic bias, respectively. Then, for large-sized LLMs, we introduce recent fairness research, including fairness evaluation, reasons for bias, and debiasing methods. Finally, we discuss and provide insight on the challenges and future directions for the development of fairness in LLMs.

研究动机与目标

• 解释在中等规模 LLM 和大型 LLM 中，公平性是如何定义与评估的。
• 总结中等规模 LLM 的内在偏见消除方法与外在偏见消除方法。
• 综述在提示（prompting）下对大规模 LLM 的公平性评估、偏见原因与去偏方法。

提出的方法

• 将中等规模 LLM 的公平性指标分为内在（嵌入）和外在（下游任务）两类。
• 评阅内在去偏方法：预处理、在训练中处理（in-processing）、后处理。
• 评估外在去偏方法：数据为中心和模型为中心的方法。
• 讨论在提示下的大规模 LLM 的公平性评估方法、偏见原因及去偏策略。
• 综合 LLM 公平性面临的挑战与未来方向。

实验结果

研究问题

• RQ1 哪些评估指标可以捕捉中等规模 LLM 的内在与外在公平性？
• RQ2 在中等规模 LLM 的预处理、在处理中和后处理中存在哪些去偏方法？
• RQ3 在提示范式下，如何对大规模 LLM 进行公平性评估与去偏？
• RQ4 LLM 公平性面临的主要挑战与未来方向是什么？
• RQ5 大规模 LLM 偏见背后的已知原因有哪些，如何缓解？

主要发现

• 内在指标量化嵌入中的偏见（例如 SEAT、CEAT、DisCo、LPBS、STS-B），而外在指标评估下游任务的公平性（共指、语义相似性、群体公平）。
• 中等规模的去偏涵盖数据层、模型层和输出层的技术，横跨预处理、在处理中和后处理。
• 大规模 LLM 的公平性通过提示、对话和偏见基准（如 BBQ、BiasAsker）进行评估，尽管在某些设置有所改进，但仍存在持续的偏见证据。
• 大规模 LLM 的偏见源于训练数据偏见、模型频次效应和世界知识表示能力的相变，能力的阶段性转变影响偏见模式。
• 去偏大规模 LLM 仍然具有挑战性；方法包括使用 RLHF 的指令微调、提示工程，以及面向安全性的改进等。
• 本综述强调内在偏见与外在偏见之间相关性不可靠，并呼吁采用多样的基准测试和跨指标评估。