[论文解读] Bias Amplification: Large Language Models as Increasingly Biased Media

Ze Wang, Zekun Wu+6 more|arXiv (Cornell University)|Oct 19, 2024

Natural Language Processing Techniques被引用 4

一句话总结

本文提出了一种大语言模型（LLMs）中偏差放大现象的理论框架，证明了即使在不发生模型崩溃的情况下，模型也能通过在合成数据上进行迭代微调，逐步放大已有的政治偏差（如GPT-2的右倾倾向）。研究识别出偏差放大与模型崩溃的独立神经机制，并发现保留与累积策略能有效缓解偏差放大。

ABSTRACT

Model collapse, a phenomenon characterized by performance degradation due to iterative training on synthetic data, has been widely studied. However, its implications for bias amplification, the progressive intensification of pre-existing societal biases in Large Language Models (LLMs), remain significantly underexplored, despite the growing influence of LLMs in shaping online discourse. In this paper, we introduce a open, generational, and long-context benchmark specifically designed to measure political bias amplification in LLMs, leveraging sentence continuation tasks derived from a comprehensive dataset of U.S. political news. Our empirical study using GPT-2 reveals consistent and substantial political bias intensification (e.g., right-leaning amplification) over iterative synthetic training cycles. We evaluate three mitigation strategies, Overfitting, Preservation, and Accumulation, and demonstrate that bias amplification persists independently of model collapse, even when the latter is effectively controlled. Furthermore, we propose a mechanistic analysis approach that identifies neurons correlated with specific phenomena during inference through regression and statistical tests. This analysis uncovers largely distinct neuron populations driving bias amplification and model collapse, underscoring fundamentally different underlying mechanisms. Finally, we supplement our empirical findings with theoretical intuition that explains the separate origins of these phenomena, guiding targeted strategies for bias mitigation.

研究动机与目标

• 为解决大语言模型中偏差放大的理论与实证理解不足问题，且与模型崩溃相区分。
• 探究大语言模型在使用合成数据进行自消耗训练循环时是否会放大政治偏差。
• 评估过拟合、保留与累积等缓解策略在减少偏差放大方面的有效性。
• 识别并区分驱动偏差放大与模型崩溃的神经机制。

提出的方法

• 基于加权最大似然估计提出理论框架，以定义偏差放大的必要与充分条件，且独立于模型崩溃。
• 使用加权最大似然估计进行统计模拟，以证明偏差放大现象，且不受抽样或函数形式问题影响。
• 开发高精度的政治倾向分类器，用于基准测试长文本生成中的政治倾向，从而评估开放式任务中的偏差。
• 对GPT-2进行迭代微调，使用前序迭代生成的合成数据，以实证观察其右倾偏差的逐步增加。
• 应用一种新颖的机制解释分析流程，通过回归分析权重变化，识别神经元层面在偏差放大与模型崩溃中的贡献。
• 在回归模型中使用Newey-West标准误与Bonferroni校正，以检验神经元权重变化对偏差偏移的显著性。

实验结果

研究问题

• RQ1 大语言模型中偏差放大的必要与充分条件是什么？如何通过理论方法将其与模型崩溃区分开来？
• RQ2 在合成数据上进行迭代微调时，GPT-2的政治偏差会如何放大？这种偏差是否随代际增加而加剧？
• RQ3 过拟合、保留与累积策略在缓解偏差放大与模型崩溃方面效果如何？
• RQ4 偏差放大与模型崩溃背后的神经机制是否不同？能否通过机制解释方法加以识别？

主要发现

• 偏差放大可独立于模型崩溃发生，理论分析与基于加权最大似然估计的统计模拟已证实此点。
• GPT-2在经过多轮基于前序迭代生成的合成数据的迭代微调后，在句子续写任务中表现出右倾政治倾向的逐步增强。
• 保留与累积策略能有效缓解偏差放大与模型崩溃，而过拟合策略效果有限。
• 机制解释分析显示，负责偏差放大与模型崩溃的神经元集合重叠极小，支持两者在理论上可区分。
• 基于回归的神经元分析识别出特定神经元，其权重变化与政治倾向偏移显著相关，统计显著性通过Newey-West标准误与Bonferroni校正得到验证。
• 研究证实，即使在无偏差训练数据的情况下，偏差放大仍可能发生，表明模型动态本身即可驱动偏差加剧。