[論文レビュー] Bias Amplification: Large Language Models as Increasingly Biased Media

Ze Wang, Zekun Wu+6 more|arXiv (Cornell University)|Oct 19, 2024

Natural Language Processing Techniques被引用数 4

ひとこと要約

本論文は、大規模言語モデル（LLMs）におけるバイアス拡大の理論的枠組みを提示し、モデルが合成データに対する繰り返しのファインチューニングを通じて、モデル崩壊が生じないままもともとの政治的バイアス（例：GPT-2における右寄り傾向）をますます強化することを示している。研究では、バイアス拡大とモデル崩壊のための明確な神経的メカニズムを同定し、バイアス拡大の緩和に効果的な保存戦略と蓄積戦略を同定した。

ABSTRACT

Model collapse, a phenomenon characterized by performance degradation due to iterative training on synthetic data, has been widely studied. However, its implications for bias amplification, the progressive intensification of pre-existing societal biases in Large Language Models (LLMs), remain significantly underexplored, despite the growing influence of LLMs in shaping online discourse. In this paper, we introduce a open, generational, and long-context benchmark specifically designed to measure political bias amplification in LLMs, leveraging sentence continuation tasks derived from a comprehensive dataset of U.S. political news. Our empirical study using GPT-2 reveals consistent and substantial political bias intensification (e.g., right-leaning amplification) over iterative synthetic training cycles. We evaluate three mitigation strategies, Overfitting, Preservation, and Accumulation, and demonstrate that bias amplification persists independently of model collapse, even when the latter is effectively controlled. Furthermore, we propose a mechanistic analysis approach that identifies neurons correlated with specific phenomena during inference through regression and statistical tests. This analysis uncovers largely distinct neuron populations driving bias amplification and model collapse, underscoring fundamentally different underlying mechanisms. Finally, we supplement our empirical findings with theoretical intuition that explains the separate origins of these phenomena, guiding targeted strategies for bias mitigation.

研究の動機と目的

• バイアス拡大とモデル崩壊とは異なる理論的・実証的理解の欠如に対処すること。
• 合成データを用いた自己消費的学習ループにおいて、LLMsが政治的バイアスを拡大するかどうかを調査すること。
• 過学習、保存、蓄積といった緩和戦略が、バイアス拡大を軽減する効果を評価すること。
• LLMsにおけるバイアス拡大とモデル崩壊を駆動する神経的メカニズムを同定し、それらを区別すること。

提案手法

• 重み付き最尤推定に基づく理論的枠組みを提案し、モデル崩壊とは独立したバイアス拡大の必要十分条件を定義する。
• 重み付き最尤推定を用いた統計的シミュレーションを実施し、サンプリングや関数形の問題が生じない状況でバイアス拡大を示した。
• 長文生成における政治的傾向をベンチマーク化する高精度な政治的バイアス分類器を開発し、オープンエンドタスクにおけるバイアス評価を可能にした。
• 前回の反復で生成された合成データに対してGPT-2を繰り返しファインチューニングすることで、右寄りバイアスの進行的増加を実証的に観察した。
• 回帰分析を用いた重みの変化に基づく新しい機械的解釈パイプラインを適用し、バイアス拡大とモデル崩壊に寄与するニューロンレベルの寄与を同定した。
• 回帰モデルにおいてニューロン重みの変化がバイアスシフトに与える影響の有意性を検証するために、Newey-West標準誤差とボンフェローニ補正を用いた。

実験結果

リサーチクエスチョン

• RQ1 LLMsにおけるバイアス拡大の必要十分条件は何か？ そして、モデル崩壊とはどのように理論的に区別できるか？
• RQ2 合成データに対する繰り返しのファインチューニングは、GPT-2における政治的バイアスをどの程度拡大させるか？ また、世代を重ねるごとにバイアスは増加するか？
• RQ3 過学習、保存、蓄積戦略は、バイアス拡大とモデル崩壊の緩和にどの程度効果的か？
• RQ4 バイアス拡大とモデル崩壊を裏付ける神経的メカニズムは別個であるか？ そして、機械的解釈によってそれらを同定できるか？

主な発見

• 理論的分析と重み付き最尤推定を用いた統計的シミュレーションにより、バイアス拡大はモデル崩壊とは独立して発生することが示された。
• GPT-2は、前回の反復で生成された合成データに対する繰り返しのファインチューニングを経て、文の継続タスクにおいて右寄り政治的バイアスが進行的に増加した。
• 保存戦略と蓄積戦略は、バイアス拡大とモデル崩壊の両方を効果的に緩和したが、過学習は限定的な効果にとどまった。
• 機械的解釈により、バイアス拡大とモデル崩壊に寄与するニューロン集合の重複は最小限に抑えられ、両現象の理論的区別を支持する結果が得られた。
• 回帰ベースのニューロン分析により、政治的バイアスのシフトと顕著に相関する重みの変化を示す特定のニューロンが同定され、Newey-West標準誤差とボンフェローニ補正による統計的有意性が確認された。
• 本研究は、偏った学習データが存在しない状況でもバイアス拡大が発生しうることを確認した。これは、モデルのダイナミクス自体がバイアスの拡大を引き起こす可能性を示している。