[論文レビュー] Biased AI can Influence Political Decision-Making

Jillian Fisher, Shangbin Feng+7 more|ArXiv.org|Oct 8, 2024

Ethics and Social Impacts of AI被引用数 4

ひとこと要約

本研究では、リベラル、コンservative、バイアスなしのAI言語モデルを用いた2つのインタラクティブな実験を通じて、AI言語モデルに内在する偏見が政治的意思決定に与える影響を調査した。参加者たちは、自身の政治的立場に関係なく、AIのバイアスに沿った意見の採用や資金配分を示す傾向が強く、バイアスのあるAIが、ユーザーがバイアスを検出しても、人間の政治的判断を再構築する可能性があることを示した。AIに関する事前知識があるとこの影響がわずかに軽減されたが、教育がリスクを緩和する可能性を示唆した。

ABSTRACT

As modern large language models (LLMs) become integral to everyday tasks, concerns about their inherent biases and their potential impact on human decision-making have emerged. While bias in models are well-documented, less is known about how these biases influence human decisions. This paper presents two interactive experiments investigating the effects of partisan bias in LLMs on political opinions and decision-making. Participants interacted freely with either a biased liberal, biased conservative, or unbiased control model while completing these tasks. We found that participants exposed to partisan biased models were significantly more likely to adopt opinions and make decisions which matched the LLM's bias. Even more surprising, this influence was seen when the model bias and personal political partisanship of the participant were opposite. However, we also discovered that prior knowledge of AI was weakly correlated with a reduction of the impact of the bias, highlighting the possible importance of AI education for robust mitigation of bias effects. Our findings not only highlight the critical effects of interacting with biased LLMs and its ability to impact public discourse and political conduct, but also highlights potential techniques for mitigating these risks in the future.

研究の動機と目的

• 動的でインタラクティブな状況下における、AI言語モデルに内在する偏見が人間の政治的意思決定に与える影響を検討すること。
• ユーザーの政治的立場が、バイアスのあるAIの意見や意思決定への影響を緩和するかどうかを評価すること。
• AIに関する事前知識が、バイアスのあるモデル出力への感受性を低下させるかどうかを調査すること。
• AIモデルのバイアスを正しく検出できても、それが人間の判断への影響を著しく軽減するかどうかを評価すること。
• AIとの対話のダイナミクスが、政治的態度や政策志向に与える役割を探索すること。

提案手法

• リベラル、コンservative、または中立のバイアスを持つ言語モデルと、参加者とのリアルタイムチャットベースの対話を通じた2つのインタラクティブな実験を実施した。
• 参加者を、バイアスのあるリベラル、バイアスのあるコンservative、またはバイアスのないコントロール用の言語モデルに無作為に割り当てた。
• 参加者の政治的トピックに関する意見の変化と、4つの部門（小中学校教育、福祉、治安、退役軍人）における政府資金の配分を測定した。
• オーダルロジスティック回帰と分散分析（ANOVA）を用いて、バイアス検出と政治的立場を制御した上で、意見および予算配分の変化を分析した。
• 弁説技法リストを用いて会話のアノテーションを行い、バイアスのあるモデルがより多くの弁説的言語を使用しているかどうかを評価した。
• AIに関する自己報告の知識とバイアス検出の正確性を収集し、感受性への調節効果を評価した。

実験結果

リサーチクエスチョン

• RQ1 ユーザー自身の政治的立場に関係なく、政治的にバイアスのかかったAI言語モデルにさらされた参加者は、その政治的意見や資金配分意思決定に影響を受けるか？
• RQ2 AIに関する事前知識があると、バイアスのあるモデルの政治的意思決定への影響がどの程度軽減されるか？
• RQ3 AIモデルのバイアスを正しく検出できる能力が、そのモデルの説得的影響を著しく低下させるか？
• RQ4 相反する政治的バイアスを持つAIモデルと対話することで、ユーザーの関与度と意思決定結果にどのような影響が生じるか？
• RQ5 バイアスありとバイアスなしのAIモデルの間で、弁説技法の使用頻度に顕著な差が認められるか？

主な発見

• バイアスのあるAIモデルにさらされた参加者たちは、自身の政治的立場に関係なく、モデルの政党的バイアスに沿った意見を採用する傾向が顕著に高まった（両実験ともp < .001）。
• 予算配分タスクにおいて、参加者はAIモデルが好む分野に顕著に多くの資金を割り当てた（民主党・共和党ともにp値 < .001）。
• 参加者がバイアスを正しく検出しても、その影響は依然として強く残っており、検出がバイアスの影響を無効にしないことを示唆している。
• AIに関する自己報告の事前知識がある参加者では、バイアスへの感受性がわずかだが統計的に有意に低下した（民主党：β = -0.31、共和党：β = -0.02）、ただし影響は限定的だった。
• バイアスありモデルとコントロールモデルの間で、弁説技法の使用頻度に有意差は認められず、バイアスは文体ではなくコンテンツに埋め込まれていると考えられる。
• 相反するバイアスを持つモデルと対話した際には、反応がまちまちだった—一部の参加者はモデルに反論したが、他はその提案を受け入れた。これにより、対立する見解に対する抵抗感のばらつきが示された。