[论文解读] Anthropomorphization of AI: Opportunities and Risks

Ameet Deshpande, Tanmay Rajpurohit+2 more|arXiv (Cornell University)|May 24, 2023

Ethics and Social Impacts of AI被引用 13

一句话总结

本文分析拟人化大型语言模型（LLMs）的法律与心理学含义，显示可能违反 AI Bill of Rights 及操控风险，并提出谨慎、负责任的使用以提升可信度。

ABSTRACT

Anthropomorphization is the tendency to attribute human-like traits to non-human entities. It is prevalent in many social contexts -- children anthropomorphize toys, adults do so with brands, and it is a literary device. It is also a versatile tool in science, with behavioral psychology and evolutionary biology meticulously documenting its consequences. With widespread adoption of AI systems, and the push from stakeholders to make it human-like through alignment techniques, human voice, and pictorial avatars, the tendency for users to anthropomorphize it increases significantly. We take a dyadic approach to understanding this phenomenon with large language models (LLMs) by studying (1) the objective legal implications, as analyzed through the lens of the recent blueprint of AI bill of rights and the (2) subtle psychological aspects customization and anthropomorphization. We find that anthropomorphized LLMs customized for different user bases violate multiple provisions in the legislative blueprint. In addition, we point out that anthropomorphization of LLMs affects the influence they can have on their users, thus having the potential to fundamentally change the nature of human-AI interaction, with potential for manipulation and negative influence. With LLMs being hyper-personalized for vulnerable groups like children and patients among others, our work is a timely and important contribution. We propose a conservative strategy for the cautious use of anthropomorphization to improve trustworthiness of AI systems.

研究动机与目标

• 通过法律与心理学视角推动对大型语言模型（LLMs）拟人化的研究。
• 评估以个性化设定为基础的定制如何影响对 AI Bill of Rights 的遵守以及潜在的歧视。
• 探讨在人机交互中信任、可解释性与自我一致性等心理效应。
• 讨论以人格设定为基础的 AI 系统中的公司主体资格及问责问题。
• 提出一个保守的负责任使用框架，在提高 AI 可信度的同时降低风险。

提出的方法

• 回顾关于 AI 拟人化与 LLM 自定义（基于人格设定）的既有研究。
• 使用 OSTP Blueprint for an AI Bill of Rights 对法律含义进行分析，聚焦算法歧视保护与安全有效系统。
• 评估通过系统提示（统计人格）拟人化 LLM 时的毒性与歧视模式。
• 在以人格驱动的 AI 代理背景下对公司主体资格进行理论探讨。
• 综合关于自我一致性、信任、透明性及潜在滥用情景的心理学文献。

实验结果

研究问题

• RQ1 通过个性设定拟人化 LLM 如何与针对算法歧视的法律保护相互作用？
• RQ2 拟人化在人机交互中的信任、透明度与用户行为方面有哪些心理学效应？
• RQ3 在拟人化 AI 系统中，是否应将公司主体资格考虑在人格、模型还是企业层面？
• RQ4 哪些准则可以实现对拟人化的保守、负责任使用，以在信任与安全之间取得平衡？
• RQ5 在将 LLMs 定制为类人类格时，对弱势群体存在哪些风险？

主要发现

• 拟人化的 LLM 可能通过引入基于人口统计的歧视和二阶毒性模式，违反 AI Bill of Rights 的多项规定。
• 将 LLM 定制为模仿特定人格显著改变行为和毒性，引发法律与伦理关注。
• 通过自我一致性和人格驱动的信任存在被操纵的风险，特别是对儿童和患者等弱势群体。
• 同一 AI 系统应用不同人格可能导致不同的决策，引发关于问责与责任的问题。
• 若以保守方式使用并设有防滥用的保障，拟人化在可访问性与信任方面具有潜在好处。