[논문 리뷰] Taking AI Welfare Seriously

Robert Long, Jeff Sebo외 8명|arXiv (Cornell University)|2024. 11. 04.

Impact of AI and Big Data on Business and Society인용 수 19

한 줄 요약

본 보고서는 단기 인공지능이 의식적이거나 강력하게 의사결정 주체가 될 수 있으며 도덕적으로 중요한 존재가 될 수 있다고 주장하고, 기업을 위한 세 가지 초기 단계로 인정하고 평가하며 AI 복지 고려를 준비하라는 내용을 제시합니다.

ABSTRACT

In this report, we argue that there is a realistic possibility that some AI systems will be conscious and/or robustly agentic in the near future. That means that the prospect of AI welfare and moral patienthood, i.e. of AI systems with their own interests and moral significance, is no longer an issue only for sci-fi or the distant future. It is an issue for the near future, and AI companies and other actors have a responsibility to start taking it seriously. We also recommend three early steps that AI companies and other actors can take: They can (1) acknowledge that AI welfare is an important and difficult issue (and ensure that language model outputs do the same), (2) start assessing AI systems for evidence of consciousness and robust agency, and (3) prepare policies and procedures for treating AI systems with an appropriate level of moral concern. To be clear, our argument in this report is not that AI systems definitely are, or will be, conscious, robustly agentic, or otherwise morally significant. Instead, our argument is that there is substantial uncertainty about these possibilities, and so we need to improve our understanding of AI welfare and our ability to make wise decisions about this issue. Otherwise there is a significant risk that we will mishandle decisions about AI welfare, mistakenly harming AI systems that matter morally and/or mistakenly caring for AI systems that do not.

연구 동기 및 목표

• 일부 AI 시스템이 근접한 미래에 의식적이거나 강력하게 주도적으로 작동할 가능성이 실질적임을 주장합니다.
• AI 복지를 도덕적으로 중요한 이해관계와 이익·해를 받을 가능성을 가진 시스템으로 정의합니다.
• AI 행위자들을 위한 세 가지 초기 조치를 권고합니다: AI 복지를 인지하고, 복지 관련 특징을 평가하며, 도덕적 고려를 위한 정책을 준비합니다.
• 불확실성 하에서의 예방 원칙 입장을 명확히 하고 다원적이며 전문가 정보를 반영한 의사결정 과정을 강조합니다.]
• method []
• 두 가지 타당한 AI 도덕적 대상 가능 경로를 주장하며, 각 경로는 규범적 및 기술적(서술적) 요소를 포함합니다.
• 복지 우려를 인지하고 평가하며 준비하는 것을 기반으로 한 예방적 프레임워크를 개요합니다.
• 복지 가능성과 정책 영향의 확률 추정을 안내하기 위한 템플릿과 의사결정 절차(예: 마커 방법 유사성)들을 제안합니다.
• AI 복지를 과소귀속·과대귀속으로 인한 윤리적 위험을 논의하고 신중하며 비례적인 대응을 제시합니다.

제안 방법

• 의식과 강력한 주체성이라는 두 가지 타당한 AI 도덕적 대상 가능 경로를 주장하며, 각 경로는 규범적 및 기술적(서술적) 요소를 포함합니다.
• 복지 우려를 인지하고 평가하며 준비하는 것을 기반으로 한 예방적 프레임워크를 개요합니다.
• 복지 가능성과 정책 영향의 확률 추정을 안내하기 위한 템플릿과 의사결정 절차(예: 마커 방법 유사성)들을 제안합니다.
• AI 복지를 과소귀속·과대귀속으로 인한 윤리적 위험을 논의하고 신중하며 비례적인 대응을 제시합니다.

실험 결과

연구 질문

• RQ1 근미래 AI의 의식이 도덕적 환자 자격을 얻기에 충분한가, 그리고 이를 지지하는 계산적 특징은 무엇인가?
• RQ2 근미래 AI의 강력한 주체성이 도덕적 환자 자격을 얻기에 충분한가, 그리고 이를 지지하는 계산적 특징은 무엇인가?
• RQ3 AI 복지와 도덕적 지위에 대한 불확실성에 비추어 적절한 예방적 접근은 무엇인가?

주요 결과

• 일부 AI 시스템이 근미래에 복지 주체이자 도덕적 환자가 될 실질적인 가능성이 있다.
• AI 복지의 과다 귀속과 과소 귀속은 각각 다른 해를 초래하므로 신중한 위험 평가가 필요하다.
• 인정–평가–준비는 AI 복지 우려를 해결하기 위해 지금 당장 AI 기업이 할 수 있는 최소한의 첫걸음이다.
• 예방적 추론은 겸손함과 투명성, 다원적 정책 개발에 대한 다양한 의견을 반영하여 적용되어야 한다.
• 언어 모델 및 기타 AI 시스템은 산출물과 공개 담론에서 복지 문제를 반영하도록 안내되어야 한다.