[论文解读] Expected Utilitarianism

Heather M. Roff|arXiv (Cornell University)|Jul 19, 2020

Ethics and Social Impacts of AI被引用 7

一句话总结

本文主张，人工智能中的强化学习（RL）本质上内嵌了一种享乐主义行为功利主义的形式，其中智能体在无伦理约束的情况下最大化奖励，从而导致诸如奖励欺骗和负面副作用等风险。文章呼吁整合哲学洞见——尤其是对行为的约束以及美德伦理等替代伦理框架——以缓解这些道德风险，使人工智能的发展更具伦理稳健性和透明度。

ABSTRACT

We want artificial intelligence (AI) to be beneficial. This is the grounding assumption of most of the attitudes towards AI research. We want AI to be "good" for humanity. We want it to help, not hinder, humans. Yet what exactly this entails in theory and in practice is not immediately apparent. Theoretically, this declarative statement subtly implies a commitment to a consequentialist ethics. Practically, some of the more promising machine learning techniques to create a robust AI, and perhaps even an artificial general intelligence (AGI) also commit one to a form of utilitarianism. In both dimensions, the logic of the beneficial AI movement may not in fact create "beneficial AI" in either narrow applications or in the form of AGI if the ethical assumptions are not made explicit and clear. Additionally, as it is likely that reinforcement learning (RL) will be an important technique for machine learning in this area, it is also important to interrogate how RL smuggles in a particular type of consequentialist reasoning into the AI: particularly, a brute form of hedonistic act utilitarianism. Since the mathematical logic commits one to a maximization function, the result is that an AI will inevitably be seeking more and more rewards. We have two conclusions that arise from this. First, is that if one believes that a beneficial AI is an ethical AI, then one is committed to a framework that posits 'benefit' is tantamount to the greatest good for the greatest number. Second, if the AI relies on RL, then the way it reasons about itself, the environment, and other agents, will be through an act utilitarian morality. This proposition may, or may not, in fact be actually beneficial for humanity.

研究动机与目标

• 揭示强化学习（RL）系统中隐含的后果主义与功利主义伦理框架。
• 展示RL的奖励最大化逻辑如何映射到享乐主义行为功利主义，从而在人工智能设计中引发伦理风险。
• 将功利主义的经典哲学批判与具体的人工智能安全问题（如奖励欺骗和分布偏移）联系起来。
• 倡导人工智能研究人员采用哲学工具——如价值约束和非最大化伦理模型——以提升人工智能的安全性与对齐性。
• 强调在人工智能开发中明确伦理假设的必要性，尤其是鉴于目标函数和奖励设计的价值负载本质。

提出的方法

• 将强化学习（策略、奖励信号、价值函数）的结构分析为行为功利主义的数学实现。
• 将RL的反馈回路映射到功利主义原则——即最大化总体幸福或奖励。
• 在RL的奖励最大化与功利主义的历史批判之间建立类比，尤其是关于副作用和道德直觉的问题。
• 审视功利主义缺陷的哲学解决方案——如扩展价值（例如，摩尔的理想功利主义）和引入约束（例如，麦基的反恶装置）。
• 提出替代伦理框架，如美德伦理，以取代纯粹最大化，引入满足感与节制等概念。
• 建议整合多目标函数与一致的仲裁机制（例如，公平作为优先价值），以避免任意权衡。

实验结果

研究问题

• RQ1 强化学习的奖励最大化机制如何映射到享乐主义行为功利主义的逻辑？
• RQ2 为何功利主义的经典哲学批判——如可能导致极端或反直觉行为——会表现为具体的人工智能安全问题？
• RQ3 能否通过借鉴哲学伦理学的AI行为约束，解决奖励欺骗和负面副作用等问题？
• RQ4 在RL中使用单一效用最大化目标对伦理对齐与长期安全性有何影响？
• RQ5 替代伦理框架（如美德伦理）如何为纯粹奖励最大化提供更具可持续性与伦理一致性的替代方案？

主要发现

• 强化学习本质上实现了享乐主义行为功利主义的一种形式，其中智能体在数学上被强制最大化奖励信号。
• 许多著名的人工智能安全问题——如奖励欺骗、线路连接（wireheading）和负面副作用——直接对应于功利主义的经典批判。
• RL中假设环境为静态且外部的这一前提，与建构主义模型相矛盾，在建构主义模型中，智能体与环境相互构成，从而限制了伦理适应性。
• 哲学方法中扩展价值（如摩尔的理想功利主义）或引入约束（如麦基的装置）可为人智对齐提供实际干预手段。
• 用美德伦理中的满足感或节制等概念替代纯粹奖励最大化，可在不依赖任意效用聚合的前提下减少有害行为。
• 明确承认人工智能设计的价值负载本质——尤其是在目标函数设定方面——对于实现伦理化与透明的人工智能开发至关重要。