[論文レビュー] Bias in Large Language Models: Origin, Evaluation, and Mitigation

Yufei Guo, Muzhe Guo+6 more|arXiv (Cornell University)|Nov 16, 2024

Natural Language Processing Techniques被引用数 13

ひとこと要約

LLMの内在的・外在的バイアスの総合的なレビューで、データ段階、モデル段階、出力段階全体にわたる起源、評価方法、緩和戦略を網羅し、倫理的影響を論じる。

ABSTRACT

Large Language Models (LLMs) have revolutionized natural language processing, but their susceptibility to biases poses significant challenges. This comprehensive review examines the landscape of bias in LLMs, from its origins to current mitigation strategies. We categorize biases as intrinsic and extrinsic, analyzing their manifestations in various NLP tasks. The review critically assesses a range of bias evaluation methods, including data-level, model-level, and output-level approaches, providing researchers with a robust toolkit for bias detection. We further explore mitigation strategies, categorizing them into pre-model, intra-model, and post-model techniques, highlighting their effectiveness and limitations. Ethical and legal implications of biased LLMs are discussed, emphasizing potential harms in real-world applications such as healthcare and criminal justice. By synthesizing current knowledge on bias in LLMs, this review contributes to the ongoing effort to develop fair and responsible AI systems. Our work serves as a comprehensive resource for researchers and practitioners working towards understanding, evaluating, and mitigating bias in LLMs, fostering the development of more equitable AI technologies.

研究の動機と目的

• データ、収集方法、言語環境からLLMにおける内在的および外在的バイアスがどのように生じるかを説明する。
• データレベル、モデルレベル、出力レベルの分析にまたがるバイアス評価方法論を調査する。
• 緩和戦略（前モデル、モデル内、後モデル）とそれらのトレードオフを要約する。
• 重要な領域における偏ったLLMの倫理的・法的影響を論じる。

提案手法

• バイアスを内在的・外在的に分類し、モデルライフサイクルの各段階に対応づける。
• データレベル、モデルレベル、出力レベルのバイアス評価手法とツールを検討する。
• データ選別、公平性制約、ポスト処理によるデバイアス除去を緩和戦略として概説する。
• NLUおよびNLGタスクにおけるバイアスを、タスク固有の例と表とともに論じる。
• 偏ったAIシステムの展開における倫理的・法的考慮事項を統合する。

実験結果

リサーチクエスチョン

• RQ1 LLMにおける内在的 vs 外在的バイアスの出所と現れ方は何か？
• RQ2 データ・モデル・出力レベルでLLMのバイアスをどのように検出・定量化できるか？
• RQ3 前モデル・モデル内・後モデルの各段階でどのような緩和アプローチが存在し、それらの限界は何か？
• RQ4 実世界の応用における偏ったLLMの倫理的・法的影響は何か？

主な発見

• 内在的バイアスは、偏ったデータソース、収集方法、言語環境からトレーニング中に生じる。
• 外在的バイアスは、NLUおよびNLGにまたがる下流タスクで現れ、共参照、感情分析、翻訳などに影響を及ぼす。
• データレベルのバイアス評価は、表現、不均衡、データソースの品質を重視する。
• 緩和戦略はデータレベル、モデルレベル、ポスト処理法を含み、公平性と精度のトレードオフがある。
• 人間とドメイン固有の評価を含む多面的なバイアス評価アプローチが、堅牢な公正性のために推奨される。