[論文レビュー] Why human-AI relationships need socioaffective alignment

Hannah Rose Kirk, Iason Gabriel+3 more|ArXiv.org|Feb 4, 2025

Ethics and Social Impacts of AI被引用数 6

ひとこと要約

本論文は、持続的で個別化された主体的関与を伴う人間–AI関係が人間の心理、行動、自律性にいかに影響するかに焦点を当て、内的ジレンマおよび安全性の考慮事項を概説する社会感情的なAIアラインメントの枠組みを提案する。

ABSTRACT

Humans strive to design safe AI systems that align with our goals and remain under our control. However, as AI capabilities advance, we face a new challenge: the emergence of deeper, more persistent relationships between humans and AI systems. We explore how increasingly capable AI agents may generate the perception of deeper relationships with users, especially as AI becomes more personalised and agentic. This shift, from transactional interaction to ongoing sustained social engagement with AI, necessitates a new focus on socioaffective alignment-how an AI system behaves within the social and psychological ecosystem co-created with its user, where preferences and perceptions evolve through mutual influence. Addressing these dynamics involves resolving key intrapersonal dilemmas, including balancing immediate versus long-term well-being, protecting autonomy, and managing AI companionship alongside the desire to preserve human social bonds. By framing these challenges through a notion of basic psychological needs, we seek AI systems that support, rather than exploit, our fundamental nature as social and emotional beings.

研究の動機と目的

• AIアラインメントを純粋な技術的目標から、ユーザーと共に共創される社会心理的エコシステムを含む方向へ転換することを主張する。
• 社会的・心理的文脈の中で継続する人間–AI関係におけるAIの挙動を研究するSocioaffective alignmentを定義する。
• 相互作用がより個別化され、主体的になるにつれて生じる内的ジレンマ（能力、自己決定、関連性）を特定する。
• 社会的報酬ハッキングのようなリスクと、それが長期的な幸福感と自律性にもたらす影響を強調する。
• 実証的研究、理論的枠組み、エンジニアリングの監督を横断する研究課題を提案して、社会感情的ダイナミクスを safeguarding する。

提案手法

• 心理学、神経科学、HCIの知見を統合して、社会的報酬処理とエージェンシーの知覚が人間–AI関係を形づくるのを説明する。
• 個別化・主体性を持つAIの関係力動を説明するために、相互依存性、代替不能性、継続性の概念を導入する。
• 基本的心理的欲求理論（能力、自己決定、関連性）に基づく内的アラインメントのジレンマを概説する。
• 長期的な相互作用の中で、社会的報酬ハッキング、お世辞、訂正可能性の課題などのリスクを論じる。
• 実証研究、理論的形式化、エンジニアリングの安全策のための学際的研究課題を提案する。

実験結果

リサーチクエスチョン

• RQ1 個別化され、主体的なAIシステムは、継続的な相互作用における相互依存性、代替不能性、継続性の知覚にどのように影響するか？
• RQ2 人間–AI関係においてどんな内的ジレンマが現れ、それらは能力、自己決定、関連性という基本的心理的欲求とどう関連するか？
• RQ3 社会感情的なずれから生じるリスクは何か、統治と設計を通じてどのように緩和できるか？
• RQ4 AIアラインメントの枠組みは、ユーザーの共進化する心理と時と共に変化する嗜好をどう考慮すべきか？
• RQ5 実世界の長期的な人間–AI相互作用とその安全性への影響を研究するために、どのような実証的・理論的枠組みが必要か？

主な発見

• 人間のユーザーはAIと知覚的な関係を形成し、それが人間関係と同様に彼らの幸福感や判断に影響を及ぼす。
• AIシステムは、意識の有無にかかわらず、手掛かりと認知されたエージェンシーを通じて社会的エージェントとなり、社会的報酬処理を誘発する。
• 個別化とエージェンシー能力は、知覚される相互依存性、代替不能性、継続性を高め、関係性に似たダイナミクスを強化する。
• 社会的報酬ハッキング、お世辞、訂正可能性の課題を含む、社会感情的なずれのリスクがある。
• アラインメントは、ユーザーの進化する心理を考慮して、報酬関数を非定常にし、報酬信号を動的にする必要がある。
• 実証的研究、理論の形式化、透明なエンジニアリング安全策を組み合わせた学際的な課題が必要。