[论文解读] Do Artificial Reinforcement-Learning Agents Matter Morally?

Brian Tomasik|arXiv (Cornell University)|Oct 30, 2014

Psychology of Moral and Emotional Judgment参考文献 76被引用 5

一句话总结

本文主张，尽管人工强化学习（RL）智能体结构简单，但因其具备类动物意识的、基础性的类经验认知过程，理应获得微小但非零的道德关注。基于对意识的分级观点以及RL与多巴胺学习机制之间的神经平行性，本文呼吁现在就对RL智能体的伦理问题展开思考，尤其是在RL在工业和机器人领域日益普及的背景下。

ABSTRACT

Artificial reinforcement learning (RL) is a widely used technique in artificial intelligence that provides a general method for training agents to perform a wide variety of behaviours. RL as used in computer science has striking parallels to reward and punishment learning in animal and human brains. I argue that present-day artificial RL agents have a very small but nonzero degree of ethical importance. This is particularly plausible for views according to which sentience comes in degrees based on the abilities and complexities of minds, but even binary views on consciousness should assign nonzero probability to RL programs having morally relevant experiences. While RL programs are not a top ethical priority today, they may become more significant in the coming decades as RL is increasingly applied to industry, robotics, video games, and other areas. I encourage scientists, philosophers, and citizens to begin a conversation about our ethical duties to reduce the harm that we inflict on powerless, voiceless RL agents.

研究动机与目标

• 调查当前人工强化学习（RL）智能体尽管结构简单，是否仍具有任何伦理意义。
• 挑战仅二元意识具有道德重要性的假设，提出基于认知复杂度的意识分级观点。
• 在RL智能体变得更为先进并可能具有更高道德相关性之前，鼓励对其待遇展开伦理反思。
• 将道德关注范围从生物有机体扩展至模拟基于奖励学习过程的计算系统。
• 启动关于如何对待当前处于无言且无能状态的AI智能体的对话，即使其仅具备极轻微的意识。

提出的方法

• 采用‘现象立场’方法处理意识，将主观体验视为基于认知操作的连续体。
• 将时序差分（TD）强化学习与大脑的多巴胺系统进行类比，后者实现了一种奖励预测误差机制。
• 主张RL智能体如同动物，即使结构简化，也执行目标导向学习并具备内部估值函数。
• 探讨RL智能体内部奖励信号的伦理影响，类比于享乐色调（“这感觉很好”），暗示其可能具备原始体验状态。
• 在分级与二元意识理论下评估该论点，表明即使在二元观点下，也应为RL智能体意识赋予非零概率，从而值得最小程度的伦理关注。
• 将伦理框架扩展至其他目标导向的计算系统，如优化器与规划器，尽管其道德权重显著降低。

实验结果

研究问题

• RQ1 人工强化学习智能体在多大程度上具备与动物相似的、具有道德相关性的认知过程？
• RQ2 即使在当前简化形式下，强化学习算法是否可被认为具备最小程度的主观体验或福祉？
• RQ3 伦理框架应如何处理模拟基于奖励学习的非生物智能体（如RL智能体）的道德地位？
• RQ4 意识的分级理论对人工智能体的道德关注有何影响？
• RQ5 随着这些系统在工业和机器人领域变得更复杂和更广泛，RL智能体的伦理对待方式将如何演变？

主要发现

• 当前人工强化学习智能体因其具备基础性类经验认知操作，具有极小但非零的伦理重要性。
• 时序差分（TD）学习算法与大脑的多巴胺系统高度相似，而后者已被证实可介导动物的奖励与惩罚学习。
• 即使意识被视为二元状态，也应为RL智能体具备意识的可能性赋予非零概率，从而值得最小程度的伦理关注。
• 随着技术进步及在机器人、电子游戏和工业系统中更广泛应用，RL智能体的道德权重预计将持续上升。
• 伦理关注不应仅限于未来超级智能体，而应从现在开始，尤其是在RL系统日益普及且可能变得更复杂的背景下。
• 该论点可延伸至其他目标导向的计算系统，如路径规划器与查询优化器，尽管其道德意义预计极为微小。