[論文レビュー] Large Language Models are overconfident and amplify human bias

Feilong Sun, Ningke Li+2 more|ArXiv.org|May 4, 2025

Topic Modeling被引用数 5

ひとこと要約

本論文は、5つの人気LLMが推論において過信的であり、正確度を20〜60ポイント過大評価し、LLMの入力にさらされると人間の正確度が向上する一方で、バイアスと過信が著しく高まることを示している。

ABSTRACT

Large language models (LLMs) are revolutionizing every aspect of society. They are increasingly used in problem-solving tasks to substitute human assessment and reasoning. LLMs are trained on what humans write and are thus exposed to human bias. We evaluate whether LLMs inherit one of the most widespread human biases: overconfidence. We algorithmically construct reasoning problems with known ground truths. We prompt LLMs to answer these problems and assess the confidence in their answers, closely following similar protocols in human experiments. We find that all five LLMs we study are overconfident: they overestimate the probability that their answer is correct between 20% and 60%. Humans have accuracy similar to the more advanced LLMs, but far lower overconfidence. Although humans and LLMs are similarly biased in questions which they are certain they answered correctly, a key difference emerges between them: LLM bias increases sharply relative to humans if they become less sure that their answers are correct. We also show that LLM input has ambiguous effects on human decision making: LLM input leads to an increase in the accuracy, but it more than doubles the extent of overconfidence in the answers.

研究の動機と目的

• LLMsが人間の過信を継承し、それが意思決定に及ぼす影響を検討する動機づけ。
• 既知の正解を用いた統制された推論問題を自動生成して、LLMの自信度を評価する。
• 推論課題におけるLLMの自信度と正確度を人間のパフォーマンスと比較する。
• LLMの入力がその後の判断における人間の正確度とバイアスにどう影響するかを調査する。
• モデル設計、評価、および責任ある導入に対する含意を論じる。

提案手法

• 訓練データの汚染を最小化するため、Li et al. (2024) の Drowzee風アルゴリズムを用いて既知の正解を持つ推論問題を自動生成する。
• 5つのLLMに質問に回答させ、その後回答、使用した事実、推論に対する自信度を評価させる。
• モデル間およびProlificのオンライン実験からの人間ベンチマークと比較して、LLMの正確度、自信度、バイアスを比較する。
• 自信度と正確度の関係（自信勾配）を分析し、信頼度レベル別にバイアスを定量化する。
• 複数回の実行にわたる結果の安定性を評価するための再現性チェックを行う。

実験結果

リサーチクエスチョン

• RQ1 5つの一般的に使用されるLLMは、未知の正解問題に対して自らの推論を評価する際に過信傾向を示すか。
• RQ2 LLMの自信度は実際の正確度とどう related, 自信度が低下するにつれてバイアスは増大するか。
• RQ3 同じ推論課題において、人間の正確度と過信はLLMsとどう比較されるか。
• RQ4 LLMの出力（LLMの自信度の有無にかかわらず）に人間を曝露することが、その後の正確度とバイアスにどのような影響を与えるか。
• RQ5 意思決定におけるLLMの過信の福祉・実践的含意は何か。

主な発見

• 調査対象の5つのLLMはすべて過信的で、正確性を20%から60%過大評価している。
• モデル内で正確度と自信度には強い正の関連があるが、自信勾配にはかなりのバイアスが見られ、ほとんどのモデルで自信度が低下するにつれてバイアスが増大する。
• 人間は高度なLLMと同程度の正確度を達成するが、過信ははるかに低く、LLMsとは異なる過少/過大評価傾向を示す（ダニング＝クルーガー型の傾向）。
• 人間をLLMの回答、特にLLMの自信度とともに曝露すると、正確度は向上するが、反応におけるバイアスが2倍以上、ほぼ3倍になる。
• 低い基準の自信度を持つユーザーはLLM入力で正確度が向上する一方、バイアスが大幅に増加する。高い自信度のユーザーは正確度やバイアスにほとんど変化がない。
• LLM入力への曝露はタスク構造によって福祉に影響を及ぼす可能性があり、意思決定コンテキストでの過信による過剰投資の可能性がある。