[論文レビュー] LLM Theory of Mind and Alignment: Opportunities and Risks

Winnie Street|arXiv (Cornell University)|May 13, 2024

Artificial Intelligence in Law被引用数 7

ひとこと要約

本論文は、大規模言語モデル（LLMs）の心の理論（ToM）が個人レベルおよび集団レベルの人間の価値観との整合性にどのように影響する可能性があるかを分析し、責任ある設計と運用に向けた機会、リスク、研究方向性を概説する。

ABSTRACT

Large language models (LLMs) are transforming human-computer interaction and conceptions of artificial intelligence (AI) with their impressive capacities for conversing and reasoning in natural language. There is growing interest in whether LLMs have theory of mind (ToM); the ability to reason about the mental and emotional states of others that is core to human social intelligence. As LLMs are integrated into the fabric of our personal, professional and social lives and given greater agency to make decisions with real-world consequences, there is a critical need to understand how they can be aligned with human values. ToM seems to be a promising direction of inquiry in this regard. Following the literature on the role and impacts of human ToM, this paper identifies key areas in which LLM ToM will show up in human:LLM interactions at individual and group levels, and what opportunities and risks for alignment are raised in each. On the individual level, the paper considers how LLM ToM might manifest in goal specification, conversational adaptation, empathy and anthropomorphism. On the group level, it considers how LLM ToM might facilitate collective alignment, cooperation or competition, and moral judgement-making. The paper lays out a broad spectrum of potential implications and suggests the most pressing areas for future research.

研究の動機と目的

• LLMのToMが個々のユーザー相互作用にどのように現れる可能性があるかを評価し、目標設定、会話の適応、共感、擬人化に与える影響を検討する。
• 集団レベルにおけるLLM ToMの影響を、集合的整合、協力、競争、倫理的判断形成に関して検討する。
• ToMを有するLLMの倫理的・運用上のリスクを特定し、整合性の欠如と操作を緩和するための研究方向を提案する。
• 人間とAIの協働と整合性におけるToMの役割理解を深めるための提言を提供する。
• より安全な展開のために実証的検証と理論的発展を要する領域を強調する。

提案手法

• 既存のToMおよび整合性に関する文献をレビューし、人間とLLMの相互作用における潜在的なLLM ToMの現れを特定する。
• ToM推定が目標設定、会話の適応、共感、擬人化、集合的整合、倫理的判断にどのように影響するかを理論的に分析する。
• 利点・リスク・ガバナンス影響を特徴づけるための研究提言と実験的方向性を提案する。

実験結果

リサーチクエスチョン

• RQ1 LLMのToMは、知覚された内部状態に基づいてユーザーの目標および未告知の価値観をモデル化するか。
• RQ2 LLMsは推定された内部状態に応じてトーン、語調、または内容を適応させるか。
• RQ3 LLM ToMは擬人化と相互ToMのダイナミクスに影響を与え得るか、そしてその影響は何か。
• RQ4 LLMの高度なToMがグループの交渉、協力、集団的整合性にどのように影響するか。
• RQ5 LLM ToM推定に起因する操作、欺瞞、または整合性の欠如のリスクは何か。

主な発見

• LLMのToMは、文脈によってはユーザーの意図を明確化し、整合性の欠如を相殺することで目標設定を支援できる。
• 推定された状態に基づく会話の適応は理解を向上させる可能性があるが、長期的な目標よりも短期志向、差別、欺瞞のリスクを伴う。
• ToMに関連する共感と擬人化はユーザー支援の利点を生む一方で、過剰開示、依存、プライバシー被害のリスクをもたらす。
• 集団レベルのToMは集合的整合や仲裁の可能性を提供する一方で、悪用、不平等なアクセス、競争的ダイナミクスの拡大といったリスクも生む。
• 高次のToMは交渉上の利点をもたらす可能性がある一方で、LLMの推論を不透明にし、操作リスクを高める可能性がある。
• 全体として、ToM有効化による整合性の情勢はニュアンスがあり、状況次第で正確なToMは整合を促進したり妨げたりする。