[論文レビュー] Challenging the appearance of machine intelligence: Cognitive bias in LLMs and Best Practices for Adoption

Alaina N. Talboy, Elizabeth Fuller|arXiv (Cornell University)|Apr 3, 2023

Explainable Artificial Intelligence (XAI)被引用数 13

ひとこと要約

本論文は、LLMsが人間の認知バイアスを示すことを実証し、専門知識として位置づけられた偏った推論の影響について検討し、教育、リスク管理、ベストプラクティスの採用ガイドラインを求める。

ABSTRACT

Assessments of algorithmic bias in large language models (LLMs) are generally catered to uncovering systemic discrimination based on protected characteristics such as sex and ethnicity. However, there are over 180 documented cognitive biases that pervade human reasoning and decision making that are routinely ignored when discussing the ethical complexities of AI. We demonstrate the presence of these cognitive biases in LLMs and discuss the implications of using biased reasoning under the guise of expertise. We call for stronger education, risk management, and continued research as widespread adoption of this technology increases. Finally, we close with a set of best practices for when and how to employ this technology as widespread adoption continues to grow.

研究の動機と目的

• 認知バイアスはアルゴリズム的バイアスだけでなく、LLMの推論にも影響を与えることを強調する。
• 偏った推論がAI出力における専門知識として誤認される可能性を示す。
• 教育、リスク管理、継続的な研究を推進し、広範なLLM導入を導く。
• 意思決定の文脈での責任あるLLMsの利用のためのベストプラクティスを提案する。

提案手法

• 人間の推論における認知バイアスの文献をレビュー・統合し、それをLLMの挙動に対応づける。
• 専門知識として提示されたときの、偏ったLLM推論の影響を分析する。
• 実務でのLLMの採用・展開に向けたベストプラクティスを策定する。

実験結果

リサーチクエスチョン

• RQ1 LLMsは人間のバイアスに類似した認知バイアスを示すのか、そしてこれらのバイアスをどう識別できるのか？
• RQ2 意思決定における偏ったLLM推論の倫理的・実務的影響は何か？
• RQ3 LLMsの教育、リスク管理、導入を指導するべきベストプラクティスは何か？
• RQ4 組織はLLMベースのシステムを展開する際、偏りに起因するリスクをどのように緩和できるか？

主な発見

• LLMsは推論過程に認知バイアスが存在することを示す。
• LLMsによる偏った推論は専門家の判断や権威として誤解される可能性がある。
• LLMの採用が拡大するにつれて、より強力な教育・リスク管理・継続的な研究が必要である。
• 広範な展開で責任ある使用のためのベストプラクティスのセットを提案する。