[论文解读] A Comprehensive Survey of Bias in LLMs: Current Landscape and Future Directions

Rajesh Ranjan, Shailja Gupta+1 more|arXiv (Cornell University)|Sep 24, 2024

Artificial Intelligence in Law被引用 9

一句话总结

本论文综述大型语言模型中的偏见，详细介绍偏见类型、来源、影响、缓解策略和未来研究方向。

ABSTRACT

Large Language Models(LLMs) have revolutionized various applications in natural language processing (NLP) by providing unprecedented text generation, translation, and comprehension capabilities. However, their widespread deployment has brought to light significant concerns regarding biases embedded within these models. This paper presents a comprehensive survey of biases in LLMs, aiming to provide an extensive review of the types, sources, impacts, and mitigation strategies related to these biases. We systematically categorize biases into several dimensions. Our survey synthesizes current research findings and discusses the implications of biases in real-world applications. Additionally, we critically assess existing bias mitigation techniques and propose future research directions to enhance fairness and equity in LLMs. This survey serves as a foundational resource for researchers, practitioners, and policymakers concerned with addressing and understanding biases in LLMs.

研究动机与目标

• 动机：理解大型语言模型中的偏见以在各应用场景中实现更安全的部署。
• 按多个维度对偏见进行分类，包括来源和影响。
• 综合当前关于大型语言模型中偏见及其缓解的研究发现。
• 提出未来方向以提高大型语言模型的公平性与公正性。

提出的方法

• 系统性地将偏见按多维度进行分类。
• 综合现有研究在偏见类型、来源与影响方面的发现。
• 对当前偏见缓解技术进行批判性评估。
• 讨论现实世界的影响及政策考量。
• 提出未来研究方向，以提升大型语言模型的公平性。

实验结果

研究问题

• RQ1 大型语言模型中存在哪些主要的偏见类型及其来源？
• RQ2 语言模型中的偏见如何影响现实世界的应用和用户？
• RQ3 针对大型语言模型偏见有哪些缓解策略，它们在不同场景中的效果如何？
• RQ4 为提高大型语言模型的公平性与公正性，未来应有哪些方向？

主要发现

• 大型语言模型中的偏见跨越多维度，包括类型、来源和影响。
• 当前研究提供了偏见类型、起源及在应用中的后果的综合。
• 缓解技术存在，但需要批判性评估并在不同语境中进行更广泛的评估。
• 本文概述了在部署大型语言模型时提升公平性与公正性的未来方向。