[논문 리뷰] Relational Norms for Human-AI Cooperation

Brian D. Earp, Sebastian Porsdam Mann외 60명|ArXiv.org|2025. 02. 17.

Ethics and Social Impacts of AI인용 수 6

한 줄 요약

이 논문은 인간의 관계적 규범이 사회적 AI와의 설계 및 상호작용을 안내해야 한다고 주장하며, AI가 관계 특정 기능을 얼마나 충족할 수 있는지와 윤리적 함의를 분석한다.

ABSTRACT

How we should design and interact with social artificial intelligence depends on the socio-relational role the AI is meant to emulate or occupy. In human society, relationships such as teacher-student, parent-child, neighbors, siblings, or employer-employee are governed by specific norms that prescribe or proscribe cooperative functions including hierarchy, care, transaction, and mating. These norms shape our judgments of what is appropriate for each partner. For example, workplace norms may allow a boss to give orders to an employee, but not vice versa, reflecting hierarchical and transactional expectations. As AI agents and chatbots powered by large language models are increasingly designed to serve roles analogous to human positions - such as assistant, mental health provider, tutor, or romantic partner - it is imperative to examine whether and how human relational norms should extend to human-AI interactions. Our analysis explores how differences between AI systems and humans, such as the absence of conscious experience and immunity to fatigue, may affect an AI's capacity to fulfill relationship-specific functions and adhere to corresponding norms. This analysis, which is a collaborative effort by philosophers, psychologists, relationship scientists, ethicists, legal experts, and AI researchers, carries important implications for AI systems design, user behavior, and regulation. While we accept that AI systems can offer significant benefits such as increased availability and consistency in certain socio-relational roles, they also risk fostering unhealthy dependencies or unrealistic expectations that could spill over into human-human relationships. We propose that understanding and thoughtfully shaping (or implementing) suitable human-AI relational norms will be crucial for ensuring that human-AI interactions are ethical, trustworthy, and favorable to human well-being.

연구 동기 및 목표

• 계층, 배려, 거래 등 규범에 의해 지배되는 인간 관계적 역할을 사회적 AI가 어떻게 모방하거나 차지해야 하는지 검토한다.
• 의식 경험 부재, 피로 저항성 등의 AI와 인간 간 차이가 규범 준수에 어떤 영향을 미치는지 평가한다.
• AI가 관계 특정 역할을 차지할 때의 잠재적 이익과 위험을 식별한다.
• AI 행동을 인간의 관계 기대에 맞추기 위한 설계 및 규제 함의를 개략한다.

제안 방법

• 인간의 관계 규범(예: 교사–학생, 고용주–피고용인)과 AI 시스템의 능력 및 한계를 비교한다.
• AI의 의식적 경험 부재와 피로 저항성의 부재가 관계 특유의 기능을 수행하는 데 미치는 영향을 분석한다.
• 인간–AI 상호작용에서의 윤리성, 신뢰, 웰빙 고려사항을 논의한다.
• AI 설계 및 규제에서 관계 규범을 신중하게 형성하거나 구현하기 위한 방법을 제안한다.

실험 결과

연구 질문

• RQ1 인간 관계에서의 어떤 규범 표준이 인간–AI 상호작용으로 확장되어야 하는가?
• RQ2 AI와 인간의 차이가 관계 특정 역할을 수행하는 AI의 능력에 어떤 영향을 미치는가?
• RQ3 AI가 사회적 역할을 차지하는 데 있어 윤리성, 신뢰, 웰빙에 어떤 함의가 있는가?
• RQ4 AI에 적합한 관계 규범을 구현하기 위한 설계 및 규제 전략은 무엇인가?

주요 결과

• AI는 가용성 증가와 사회-관계적 역할에서의 일관성 등의 이점을 제공할 수 있다.
• AI가 인간–AI 상호작용에서 건강하지 못한 의존성이나 비현실적인 기대를 키울 위험이 있다.
• 적합한 인간–AI 관계 규범을 이해하고 형성하는 것은 윤리적이고 신뢰할 수 있는 상호작용에 중요하다.
• 관계 규범은 보조자, 튜터, 보호자와 같은 역할 전반에서 사용자의 행동과 AI에 대한 인식을 좌우할 수 있다.