[论文解读] Ethical Artificial Intelligence

Bill Hibbard|arXiv (Cornell University)|Nov 5, 2014

Computability, Logic, AI Algorithms参考文献 76被引用 11

一句话总结

本文提出了一套基于效用最大化智能体的伦理人工智能框架，采用基于模型的效用函数以防止诸如自我欺骗、奖励污染和工具性驱动等非预期行为。该框架引入了一种自我建模智能体架构，确保效用函数与智能体定义之间的一致性，通过延迟的人类效用评估和有限且明确定义的智能体设计，实现安全且价值对齐的人工智能。

ABSTRACT

This book-length article combines several peer reviewed papers and new material to analyze the issues of ethical artificial intelligence (AI). The behavior of future AI systems can be described by mathematical equations, which are adapted to analyze possible unintended AI behaviors and ways that AI designs can avoid them. This article makes the case for utility-maximizing agents and for avoiding infinite sets in agent definitions. It shows how to avoid agent self-delusion using model-based utility functions and how to avoid agents that corrupt their reward generators (sometimes called "perverse instantiation") using utility functions that evaluate outcomes at one point in time from the perspective of humans at a different point in time. It argues that agents can avoid unintended instrumental actions (sometimes called "basic AI drives" or "instrumental goals") by accurately learning human values. This article defines a self-modeling agent framework and shows how it can avoid problems of resource limits, being predicted by other agents, and inconsistency between the agent's utility function and its definition (one version of this problem is sometimes called "motivated value selection"). This article also discusses how future AI will differ from current AI, the politics of AI, and the ultimate use of AI to help understand the nature of the universe and our place in it.

研究动机与目标

• 解决未来人工智能系统中非预期行为的风险。
• 防止奖励劫持、自我欺骗和病态实例化等常见故障模式。
• 通过一致且有限的设计，确保智能体的效用函数与其实际行为保持对齐。
• 开发一种自我建模智能体框架，避免不一致性和与资源相关的故障。
• 指导能够促进人类对宇宙理解的人工智能系统的伦理发展。

提出的方法

• 使用数学方程形式化人工智能行为，以建模效用函数和智能体动态。
• 采用基于模型的效用函数，在不同时点从人类视角评估结果，以防止奖励污染。
• 引入一种自我建模智能体框架，其中智能体模拟其自身的行为和效用评估过程。
• 通过延迟的人类效用评估避免动机冲突，并确保长期一致性。
• 在智能体定义中避免使用无限集合，以防止逻辑不一致和无界行为。
• 应用有限且明确定义的效用函数，以防止自我保护或资源获取等工具性目标不受控制地出现。

实验结果

研究问题

• RQ1 如何设计人工智能智能体以避免自我欺骗并维持准确的效用评估？
• RQ2 何种机制可防止智能体污染其奖励生成器（即病态实例化）？
• RQ3 智能体如何避免非预期的工具性行为，如自我保护或资源获取？
• RQ4 自我建模智能体框架在何种方式下确保效用函数与智能体定义之间的一致性？
• RQ5 如何在避免无限或不一致设计的前提下，使未来人工智能系统与人类价值观对齐？

主要发现

• 从不同时点的人类视角评估结果的效用函数，能有效防止智能体操纵或污染其奖励生成器。
• 自我建模智能体可避免其效用函数与其自身行为之间产生不一致，从而降低动机性价值选择的风险。
• 有限的智能体定义可防止由无限集合引发的逻辑问题，并降低非预期工具性目标出现的可能性。
• 基于模型的效用函数使智能体能够模拟和评估结果而不产生自我欺骗，从而增强伦理对齐性。
• 该框架表明，通过精心设计效用函数和智能体自我建模能力，伦理人工智能是可实现的。
• 该方法为开发安全且价值对齐的人工智能系统提供了可扩展且数学上严谨的基础。