[論文レビュー] A Comprehensive Survey of Bias in LLMs: Current Landscape and Future Directions

Rajesh Ranjan, Shailja Gupta+1 more|arXiv (Cornell University)|Sep 24, 2024

Artificial Intelligence in Law被引用数 9

ひとこと要約

この論文は大規模言語モデルのバイアスを概観し、バイアスの種類、発生源、影響、緩和戦略、そして今後の研究方向を詳述する。

ABSTRACT

Large Language Models(LLMs) have revolutionized various applications in natural language processing (NLP) by providing unprecedented text generation, translation, and comprehension capabilities. However, their widespread deployment has brought to light significant concerns regarding biases embedded within these models. This paper presents a comprehensive survey of biases in LLMs, aiming to provide an extensive review of the types, sources, impacts, and mitigation strategies related to these biases. We systematically categorize biases into several dimensions. Our survey synthesizes current research findings and discusses the implications of biases in real-world applications. Additionally, we critically assess existing bias mitigation techniques and propose future research directions to enhance fairness and equity in LLMs. This survey serves as a foundational resource for researchers, practitioners, and policymakers concerned with addressing and understanding biases in LLMs.

研究の動機と目的

• アプリケーション全体での安全な展開のためにLLMのバイアスを理解する必要性を喚起する。
• 発生源と影響を含む複数の次元でバイアスを分類する。
• LLMsのバイアスと緩和に関する現在の研究の知見を総合する。
• LLMsの公平性と平等性を向上させる将来の方向性を提案する。

提案手法

• 複数の次元への系統的なバイアス分類。
• バイアスタイプ、発生源、影響に関する既存研究の知見の総合。
• 現在のバイアス緩和技術の批判的評価。
• 実世界への影響と政策的考慮の議論。
• LLMの公平性を高めるための将来の研究方向の提案。

実験結果

リサーチクエスチョン

• RQ1 LLMsに存在する主要なバイアスタイプとその発生源は何か？
• RQ2 LLMsのバイアスは現実のアプリケーションやユーザーにどのような影響を与えるか？
• RQ3 LLMバイアスに対する緩和戦略は何があり、文脈を跨いでどれくらい効果的か？
• RQ4 LLMsの公正性と平等性を改善するために推奨される将来の方向性は何か？

主な発見

• LLMsのバイアスは、タイプ、発生源、影響を含む複数の次元にまたがる。
• 現在の研究は、バイアスタイプ、起源、適用における結果の総合を提供している。
• 緩和技術は存在するが、批判的評価と文脈をまたぐより広い評価が必要である。
• 本論文はLLM展開における公正性と平等性を高めるための将来の方向性を概説する。