[논문 리뷰] Anthropomorphization of AI: Opportunities and Risks

Ameet Deshpande, Tanmay Rajpurohit외 2명|arXiv (Cornell University)|2023. 05. 24.

Ethics and Social Impacts of AI인용 수 13

한 줄 요약

이 논문은 의인화된 LLM의 법적 및 심리적 함의를 분석하여 AI 권리 법안의 잠재적 위반과 조작 위험을 보여주고, 신뢰성을 높이기 위한 신중하고 책임 있는 사용을 제안한다.

ABSTRACT

Anthropomorphization is the tendency to attribute human-like traits to non-human entities. It is prevalent in many social contexts -- children anthropomorphize toys, adults do so with brands, and it is a literary device. It is also a versatile tool in science, with behavioral psychology and evolutionary biology meticulously documenting its consequences. With widespread adoption of AI systems, and the push from stakeholders to make it human-like through alignment techniques, human voice, and pictorial avatars, the tendency for users to anthropomorphize it increases significantly. We take a dyadic approach to understanding this phenomenon with large language models (LLMs) by studying (1) the objective legal implications, as analyzed through the lens of the recent blueprint of AI bill of rights and the (2) subtle psychological aspects customization and anthropomorphization. We find that anthropomorphized LLMs customized for different user bases violate multiple provisions in the legislative blueprint. In addition, we point out that anthropomorphization of LLMs affects the influence they can have on their users, thus having the potential to fundamentally change the nature of human-AI interaction, with potential for manipulation and negative influence. With LLMs being hyper-personalized for vulnerable groups like children and patients among others, our work is a timely and important contribution. We propose a conservative strategy for the cautious use of anthropomorphization to improve trustworthiness of AI systems.

연구 동기 및 목표

• 법적 및 심리적 관점에서 대형 언어 모델(LLMs)의 의인화 연구를 촉진한다.
• 페르소나 기반 커스터마이제이션이 AI 권리 법안 준수 및 잠재적 차별에 어떤 영향을 미치는지 평가한다.
• 인간-AI 상호작용에서 신뢰, 설명가능성, 자기-일치성 등 심리적 효과를 탐구한다.
• 페르소나 기반 AI 시스템에서의 법인 인격의 의미 및 책임 소재를 논의한다.
• 리스크를 완화하면서 AI의 신뢰도를 높이기 위한 책임 있는 사용을 위한 보수적 프레임워크를 제안한다.

제안 방법

• AI 의인화 및 LLM 커스터마이제이션(페르소나 기반)에 관한 선행 연구 검토.
• Algorithmic Discrimination Protections 및 Safe and Effective Systems에 초점을 맞춘 OSTP의 AI 권리 법안 청사진을 이용한 법적 함의 분석.
• 시스템 프롬프트(통계적 페르소나)를 통해 LLM이 의인화될 때의 독성 및 차별 패턴 평가.
• 페르소나 기반 AI 에이전트 맥락에서의 법인 인격의 이론적 논의.
• 자기-일치성, 신뢰, 투명성 및 잠재적 악용 시나리오에 관한 심리학 문헌의 종합.

실험 결과

연구 질문

• RQ1 페르소나 커스터마이제이션을 통한 LLM 의인화가 알고리즘 차별에 대한 법적 보호와 어떻게 상호작용합니까?
• RQ2 인간- AI 상호작용에서 의인화가 신뢰, 투명성 및 사용자 행동에 미치는 심리적 영향은 무엇입니까?
• RQ3 의인화된 AI 시스템에 대해 페르소나, 모델 또는 기업 차원에서 법인 인격을 고려해야 합니까?
• RQ4 신뢰와 안전의 균형을 맞추기 위한 의인화의 보수적이고 책임 있는 사용을 가능하게 하는 지침은 무엇입니까?
• RQ5 사람과 유사한 페르소나로 LLM을 커스터마이즈할 때 취약 집단에 어떤 위험이 존재합니까?

주요 결과

• 의인화된 LLM은 인구통계 기반 차별과 이차 독성 패턴을 도입하여 AI 권리 법안의 다수 조항을 위반할 수 있습니다.
• 특정 페르소나를 모방하도록 LLM를 커스터마이즈하는 것은 행동 및 독성에 현저한 변화를 가져와 법적·윤리적 우려를 제기합니다.
• 자기 일치성과 페르소나 기반 신뢰를 통한 조작 위험이 있으며, 특히 어린이 및 환자 등 취약한 집단이 대상이 될 수 있습니다.
• 다른 페르소나가 같은 AI 시스템에 적용되면 서로 다른 결정으로 이어져 책임성과 책임 소재에 대한 질문을 야기합니다.
• 의인화는 보수적으로 사용하고 남용에 대한 안전장치를 갖추면 접근성과 신뢰성 측면에서 잠재적 이점을 제공합니다.