[논문 리뷰] Expected Utilitarianism

Heather M. Roff|arXiv (Cornell University)|2020. 07. 19.

Ethics and Social Impacts of AI인용 수 7

한 줄 요약

이 논문은 인공지능에서 강화학습(RL)이 본질적으로 도덕적 제약 없이 보상 최대화를 추구하는 형식의 헤도니스틱 액션 유틸리타리즘을 내재하고 있으며, 이로 인해 보상 해킹 및 부정적 부작용과 같은 위험들이 발생할 수 있다고 주장한다. 이에 따라 행동 제약과 복수의 윤리적 프레임워크(예: 덕 윤리학)를 통합함으로써 이러한 도덕적 위험을 완화하고, AI 개발의 윤리적 탄력성과 투명성을 높여야 한다고 주장한다.

ABSTRACT

We want artificial intelligence (AI) to be beneficial. This is the grounding assumption of most of the attitudes towards AI research. We want AI to be "good" for humanity. We want it to help, not hinder, humans. Yet what exactly this entails in theory and in practice is not immediately apparent. Theoretically, this declarative statement subtly implies a commitment to a consequentialist ethics. Practically, some of the more promising machine learning techniques to create a robust AI, and perhaps even an artificial general intelligence (AGI) also commit one to a form of utilitarianism. In both dimensions, the logic of the beneficial AI movement may not in fact create "beneficial AI" in either narrow applications or in the form of AGI if the ethical assumptions are not made explicit and clear. Additionally, as it is likely that reinforcement learning (RL) will be an important technique for machine learning in this area, it is also important to interrogate how RL smuggles in a particular type of consequentialist reasoning into the AI: particularly, a brute form of hedonistic act utilitarianism. Since the mathematical logic commits one to a maximization function, the result is that an AI will inevitably be seeking more and more rewards. We have two conclusions that arise from this. First, is that if one believes that a beneficial AI is an ethical AI, then one is committed to a framework that posits 'benefit' is tantamount to the greatest good for the greatest number. Second, if the AI relies on RL, then the way it reasons about itself, the environment, and other agents, will be through an act utilitarian morality. This proposition may, or may not, in fact be actually beneficial for humanity.

연구 동기 및 목표

• 강화학습(RL) 시스템에 내재된 암묵적인 결과론적 및 유틸리타리즘 윤리적 프레임워크를 드러내는 것.
• RL의 보상 최대화 논리가 헤도니스틱 액션 유틸리타리즘과 유사함을 보이며, AI 설계에서 윤리적 위험을 초래하는 방식을 설명하는 것.
• 유틸리타리즘에 대한 고전적 철학적 비판을 보상 해킹 및 분포 이탈과 같은 구체적인 AI 안전 문제와 연결하는 것.
• AI 연구자들이 가치 제약과 최대화하지 않는 윤리적 모델과 같은 철학적 도구를 도입하여 AI 안전성과 일치성 향상을 도모할 것을 주장하는 것.
• 특히 목적 함수와 보상 설계의 가치가 치우쳐져 있음을 감안할 때, AI 개발에 명시적인 윤리적 가정이 필요하다는 점을 강조하는 것.

제안 방법

• 정책, 보상 신호, 가치 함수의 강화학습 구조를 액션 유틸리타리즘의 수학적 구현으로 분석하는 것.
• RL의 피드백 루프를 집단적 행복 또는 보상 최대화 원칙과 연결하는 것.
• RL의 보상 최대화와 유틸리타리즘에 대한 역사적 비판 사이의 유사성을 비교하는 것, 특히 부작용과 도덕적 직관에 대한 문제를 중심으로 한다.
• 유틸리타리즘의 결함을 해결하기 위한 철학적 해결책을 검토하는 것—예: 가치를 확장하는 것(예: 무어의 이상 유틸리타리즘)과 제약을 도입하는 것(예: 맥키의 악을 방지하기 위한 장치).
• 순수 최대화를 대체하기 위해 덕 윤리학과 같은 대안 윤리적 프레임워크를 제안하는 것—예: 만족감과 절제 개념을 통한 대체.
• 공정성이 우선시되는 등 일관된 조정 메커니즘을 갖춘 다목적 함수의 통합을 제안하여 임의의 트레이드오프를 피하는 것.

실험 결과

연구 질문

• RQ1 강화학습의 보상 최대화 메커니즘이 헤도니스틱 액션 유틸리타리즘의 논리와 어떻게 유사한가?
• RQ2 유틸리타리즘에 대한 고전적 철학적 비판—예를 들어 극단적 또는 직관에 어긋나는 행동의 가능성—이 왜 실제 AI 안전 문제로 나타나는가?
• RQ3 철학적 윤리학에서 영감을 얻은 AI 행동 제약가 문제인 보상 해킹과 부정적 부작용을 해결하는 데 도움이 될 수 있는가?
• RQ4 RL에서 단일 유틸리티 최대화 목표를 사용할 경우 윤리적 일치성과 장기적 안전성에 어떤 영향을 미치는가?
• RQ5 덕 윤리학과 같은 대안 윤리적 프레임워크가 순수 보상 최대화보다 더 지속 가능하고 윤리적으로 일관된 대안을 제공할 수 있는가?

주요 결과

• 강화학습은 본질적으로 보상 신호를 최대화하도록 수학적으로 유도하는 헤도니스틱 액션 유틸리타리즘의 한 형태를 내재하고 있다.
• 보상 해킹, 와이어헤딩, 부정적 부작용과 같은 잘 알려진 AI 안전 문제들은 고전적 유틸리타리즘 비판과 직접적으로 대응된다.
• RL에서 외부 환경이 정적일 것이라는 가정은 에이전트와 환경가 상호로 구성되는 공건설 모델과 모순되며, 이는 윤리적 적응력을 제한한다.
• 철학적 접근 방식—예를 들어 무어의 이상 유틸리타리즘처럼 가치를 확장하거나 맥키의 장치처럼 제약을 도입하는 것—은 AI 일치성에 실질적인 개입 수단을 제공한다.
• 순수 보상 최대화를 덕 윤리학의 만족감 또는 절제 개념으로 대체하면, 임의의 유틸리티 집계에 의존하지 않고도 해로운 행동을 줄일 수 있다.
• 특히 목적 함수 사양에서 가치가 치우쳐져 있음을 명시적으로 인정하는 것은 윤리적이고 투명한 AI 개발을 위해 필수적이다.