[논문 리뷰] The Ethics of Advanced AI Assistants

Iason Gabriel, Arianna Manzini외 55명|arXiv (Cornell University)|2024. 04. 24.

Ethics and Social Impacts of AI인용 수 37

한 줄 요약

이 논문은 고급 AI 어시스턴트의 기회, 위험 및 거버넌스 필요성을 체계적으로 분석하고, 사회기술적 윤리 프레임워크와 연구자, 정책입안자 및 사회를 위한 실행 가능한 권고안을 제시한다.

ABSTRACT

This paper focuses on the opportunities and the ethical and societal risks posed by advanced AI assistants. We define advanced AI assistants as artificial agents with natural language interfaces, whose function is to plan and execute sequences of actions on behalf of a user, across one or more domains, in line with the user's expectations. The paper starts by considering the technology itself, providing an overview of AI assistants, their technical foundations and potential range of applications. It then explores questions around AI value alignment, well-being, safety and malicious uses. Extending the circle of inquiry further, we next consider the relationship between advanced AI assistants and individual users in more detail, exploring topics such as manipulation and persuasion, anthropomorphism, appropriate relationships, trust and privacy. With this analysis in place, we consider the deployment of advanced assistants at a societal scale, focusing on cooperation, equity and access, misinformation, economic impact, the environment and how best to evaluate advanced AI assistants. Finally, we conclude by providing a range of recommendations for researchers, developers, policymakers and public stakeholders.

연구 동기 및 목표

• 고급 AI 어시스턴트의 기술적 기초, 능력 및 잠재적 활용을 평가한다.
• 고급 AI 어시스턴트의 가치 정렬, 복지, 안전 및 오용 우려를 검토한다.
• 조작, 신뢰, 프라이버시, 의인화와 같은 인간–AI 상호 작용 주제를 탐구한다.
• 형평성, 허위정보, 경제, 환경 및 평가 방법을 포함한 사회적 함의를 분석한다.
• 연구자, 개발자, 정책입안자 및 공공 이해당사자를 위한 권고를 제공한다.

제안 방법

• 윤리적 선견지명을 프레이밍하기 위해 컴퓨터 과학, HCI, 심리학, 경제학, 사회학 및 철학의 학제간 통찰을 종합한다.
• 실증적 근거에 기반을 두고 미래 지향적 윤리와 실증적 근거를 결합한 사회기술적 예측 윤리 접근법을 제안한다.
• 정책 권고와 관련된 여섯 가지 주요 주제를 중심으로 분석을 구성한다(정렬, 복지, 안전, 오용, 인간–도우미 상호 작용, 사회적 영향).
• 인간–AI 상호 작용, 다-agent 다이나믹, 사회적 수준의 지표를 강조하며 사회기술적 평가 필요성을 논의한다.
• 이해당사자 심의 및 책임 있는 혁신 원칙에 기반한 정책 및 거버넌스 권고를 제시한다.

실험 결과

연구 질문

• RQ1 고급 AI 어시스턴트가 이전의 AI 기술과 구별되는 점은 무엇인가?
• RQ2 AI 어시스턴트 개발을 안내해야 하는 능력과 한계는 무엇인가?
• RQ3 AI 어시스턴트는 사용자, 개발자 및 사회적 가치에 어떻게 정렬되어야 하는가?
• RQ4 점점 더 자율적인 AI 어시스턴트에서 발생하는 안전, 조작 및 프라이버시 우려는 무엇인가?
• RQ5 AI 어시스턴트가 신뢰, 의인화, 관계, 협력 및 불평등에 어떤 영향을 미치는가?

주요 결과

• 고급 AI 어시스턴트는 높은 자율성과 개인화된 상호 작용을 통해 작업, 교육 및 사회적 상호 작용에 심오한 영향을 미칠 수 있다.
• 안전, 오용 및 생태계 전반의 영향을 관리하기 위해 견고하고 예측 가능한(사회기술적) 정렬이 필요하다.
• 의인화와 개인화는 신뢰, 프라이버시 및 자율성 문제를 야기하며 부적절한 영향으로부터의 안전장치가 필요하다.
• 광범위한 배치는 사회적 조정, 형평성 및 접근성에 변화를 가져올 수 있어 포용적 설계와 거버넌스가 필요하다.
• 현재의 평가 방법은 기술적 성능에 초점을 맞추고 있어 인간–AI 상호 작용 및 사회적 영향까지 포함한 전체적 사회기술적 평가가 필요하다.
• 강력한 거버넌스, 정책 작업, 그리고 공공 담론은 개발을 넓게 이익이 되는 방향으로 이끄는 데 필수적이다.