[論文レビュー] Anthropomorphization of AI: Opportunities and Risks

Ameet Deshpande, Tanmay Rajpurohit+2 more|arXiv (Cornell University)|May 24, 2023

Ethics and Social Impacts of AI被引用数 13

ひとこと要約

本論文は人間らしく表現されたLLMの法的・心理学的影響を分析し、AI Bill of Rightsの潜在的な違反と操作のリスクを示しつつ、信頼性を高めるための慎重で責任ある利用を提案する。

ABSTRACT

Anthropomorphization is the tendency to attribute human-like traits to non-human entities. It is prevalent in many social contexts -- children anthropomorphize toys, adults do so with brands, and it is a literary device. It is also a versatile tool in science, with behavioral psychology and evolutionary biology meticulously documenting its consequences. With widespread adoption of AI systems, and the push from stakeholders to make it human-like through alignment techniques, human voice, and pictorial avatars, the tendency for users to anthropomorphize it increases significantly. We take a dyadic approach to understanding this phenomenon with large language models (LLMs) by studying (1) the objective legal implications, as analyzed through the lens of the recent blueprint of AI bill of rights and the (2) subtle psychological aspects customization and anthropomorphization. We find that anthropomorphized LLMs customized for different user bases violate multiple provisions in the legislative blueprint. In addition, we point out that anthropomorphization of LLMs affects the influence they can have on their users, thus having the potential to fundamentally change the nature of human-AI interaction, with potential for manipulation and negative influence. With LLMs being hyper-personalized for vulnerable groups like children and patients among others, our work is a timely and important contribution. We propose a conservative strategy for the cautious use of anthropomorphization to improve trustworthiness of AI systems.

研究の動機と目的

• 法的および心理学的観点から、large language models (LLMs) の人間らしさ（anthropomorphization）に関する研究を促す。
• ペルソナベースのカスタマイズが AI Bill of Rights への準拠と潜在的な差別にどう影響するかを評価する。
• 信頼・説明可能性・自己整合感(self-congruence)など、人間とAIの相互作用における心理的効果を探る。
• ペルソナベースのAIシステムにおける企業的人格（corporate personhood）の含意と説明責任を論じる。
• リスクを緩和しつつAIの信頼性を高めるための保守的な責任ある利用のフレームワークを提案する。

提案手法

• AIの人間らしさ（anthropomorphism）とLLMカスタマイズ（ペルソナベース）に関する先行研究のレビュー。
• OSTP Blueprint for an AI Bill of Rightsを用いた法的影響の分析。Algorithmic Discrimination Protections および Safe and Effective Systems に焦点を当てる。
• システムプロンプトによる人間らしさ付与（statistical personas）時の毒性・差別パターンの評価。
• ペルソナ駆動型AIエージェントの文脈における企業的人格の理論的議論。
• 自己整合感、信頼性、透明性、潜在的な悪用シナリオに関する心理学文献の統合。

実験結果

リサーチクエスチョン

• RQ1 ペルソナカスタマイズによるLLMsの人間化は、アルゴリズム的差別に対する法的保護とどのように相互作用するか？
• RQ2 人間とAIの相互作用における信頼・透明性・ユーザー行動に対する人間化の心理的効果は何か？
• RQ3 人間化されたAIシステムにおいて、企業的人格はペルソナ、モデル、または企業レベルで検討すべきか？
• RQ4 信頼と安全のバランスを取るために、人間化を保守的・責任ある利用に導くガイドラインは何か？
• RQ5 人間らしいペルソナでカスタマイズされたとき、脆弱なグループにはどのようなリスクが存在するか？

主な発見

• 人間らしく表現されたLLMsは、demographic-based discrimination（人口統計に基づく差別）および二次的な毒性パターンを導入することで、AI Bill of Rightsの複数の条項に違反する可能性がある。
• 特定のペルソナを模倣するようLLMsをカスタマイズすると、行動と毒性が大幅に変化し、法的・倫理的懸念を引き起こす。
• 自己整合感とペルソナ主導の信頼を通じた操作のリスクがあり、特に子どもや患者などの脆弱なグループにとって懸念がある。
• 同じAIシステムに適用された異なるペルソナは異なる意思決定を生み出す可能性があり、説明責任と賠償責任に関する疑問を提起する。
• 人間化は、乱用を防ぐ safeguard のもとで保守的に使用すれば、アクセシビリティと信頼に潜在的な利点をもたらす。