[論文レビュー] Investigating Bias in LLM-Based Bias Detection: Disparities between LLMs and Human Perception

Luyang Lin, Lingzhi Wang+2 more|arXiv (Cornell University)|Mar 22, 2024

Forecasting Techniques and Applications被引用数 20

ひとこと要約

この論文は、巨大言語モデル（LLMs）に内在するバイアスと、それらのバイアスがメディアのバイアス検出にどのように影響するかを調査し、政治的バイアスの予測とテキスト継続、トピックの一貫性、デバイアス戦略、およびモデル間のバイアス傾向を検討する。

ABSTRACT

The pervasive spread of misinformation and disinformation in social media underscores the critical importance of detecting media bias. While robust Large Language Models (LLMs) have emerged as foundational tools for bias prediction, concerns about inherent biases within these models persist. In this work, we investigate the presence and nature of bias within LLMs and its consequential impact on media bias detection. Departing from conventional approaches that focus solely on bias detection in media content, we delve into biases within the LLM systems themselves. Through meticulous examination, we probe whether LLMs exhibit biases, particularly in political bias prediction and text continuation tasks. Additionally, we explore bias across diverse topics, aiming to uncover nuanced variations in bias expression within the LLM framework. Importantly, we propose debiasing strategies, including prompt engineering and model fine-tuning. Extensive analysis of bias tendencies across different LLMs sheds light on the broader landscape of bias propagation in language models. This study advances our understanding of LLM bias, offering critical insights into its implications for bias detection tasks and paving the way for more robust and equitable AI systems

研究の動機と目的

• LLMs がバイアス予測とテキスト継続の両方において政治的バイアスを示すかどうかを評価する。
• 予め定義されたトピックと潜在的トピックを含む、多様なトピックにわたるLLMsのバイアスの一貫性を検討する。
• プロンプト設計とモデルの微調整を通じたデバイアス戦略と、それらが性能に及ぼす影響を調査する。
• 複数のオープンソースおよびクローズドソースのLLM間でバイアス傾向を比較し、バイアス挙動におけるモデル間差異を理解する。

提案手法

• Vanilla ChatGPTを用いてFlipBiasおよびABPデータセットの政治的傾向を、left, center, right, uncertain の三値ラベルタスクで評価する。
• 政治記事のプレフィックスを用いた記事継続実験を実施し、埋め込みベースの類似性と左/右の語彙マッチングを用いて生成されるサフィックスを分析する。
• データセット全体のトピックレベルのバイアス傾向を定量化するため、Bias Tendency Index (BTI-1, BTI-2)を導入する。
• プロンプトベースの説明、Few-shotプロンプト、デバイアス文（DS）を含むデバイアス低減アプローチを適用し、ラベル分布を変化させた微調整（L-FT, LC-FT, LCR-FT）も併用する。
• 全体のバイアス予測とトピックレベルのバイアス分布へのデバイアス低減の影響を評価し、BiF1、MaF1、BTIの変化などの指標を報告する。
• 追加のLLM（LLaMa2、Vicuna、Mistral、GPT-4）へ分析を拡張し、モデル間のバイアス傾向を比較する。

実験結果

リサーチクエスチョン

• RQ1 RQ1: LLMはバイアス予測とテキスト継続タスクにおいて政治的バイアスを示すか？
• RQ2 RQ2: LLMは定義済みおよび潜在的トピックを横断して、一貫したバイアスを示すか？
• RQ3 RQ3: LLMをどのようにデバイアスし、バイアス検出性能をさらに向上させるか？
• RQ4 RQ4: さまざまなLLMはデータセットやトピックを横断して同様のバイアス傾向を示すか？

主な発見

• LLMs は FlipBias および ABP における政治的バイアス予測で左寄りの認知バイアスを示し、予測における Left-Center の割合が Right-Center より高い。
• LLMs は右寄りの実際記事を予測する際に左寄りのものよりも性能が高く、非対称なバイアス傾向を示唆している。
• 記事継続実験は、短いプレフィックスで左寄りの傾向を示し、プレフィックス長が長くなるにつれて右寄りへ移行することを、トピック長の違いのため示している。
• Bias Tendency Index (BTI-1, BTI-2) はトピック依存のバイアスを示し、ほとんどのトピックが左寄りの傾向を示す一方、顕著な右寄りのトピックもある。
• デバイアスは、プロンプトベースの手法（特に Debiasing Statement）によるデバイアスは、トピックレベルの BTI をほぼゼロに近づける一方、微調整はバイアス予測の指標を改善できるが全体的なバイアスを増加させる可能性がある。
• 異なるLLM は多様なバイアス特性を示し、いくつかのモデルはより強いまたは異なるバイアス方向を示すことがあり、モデルの性能は必ずしもバイアスの強さと相関しない。