[论文解读] Empowerment -- an Introduction

Christoph Salge, Cornelius Glackin+1 more|arXiv (Cornell University)|Oct 7, 2013

Cognitive Science and Mapping被引用 4

一句话总结

本文引入了赋能（empowerment）作为一种基于信息论、与任务无关的效用函数，用于量化智能体通过感觉运动控制影响环境的能力。通过将控制建模为动作与感官输入之间的信道容量，该框架实现了智能体的内在动机，适用于多种感觉运动配置，并提出了连续域的近似方法以提升可扩展性。

ABSTRACT

This book chapter is an introduction to and an overview of the information-theoretic, task independent utility function "Empowerment", which is defined as the channel capacity between an agent's actions and an agent's sensors. It quantifies how much influence and control an agent has over the world it can perceive. This book chapter discusses the general idea behind empowerment as an intrinsic motivation and showcases several previous applications of empowerment to demonstrate how empowerment can be applied to different sensor-motor configuration, and how the same formalism can lead to different observed behaviors. Furthermore, we also present a fast approximation for empowerment in the continuous domain.

研究动机与目标

• 将赋能形式化为基于信息论的、与任务无关的效用函数。
• 证明赋能可作为无需外部奖励的自主智能体的内在动机。
• 展示赋能框架在不同感觉运动架构和环境中的通用性。
• 提出一种在连续状态与动作空间中计算赋能的快速近似方法。
• 全面概述赋能的理论基础及其在人工智能中的实际应用。

提出的方法

• 使用信息论将赋能定义为智能体动作与感官输入之间的信道容量。
• 将智能体的感觉运动系统建模为随机信道，其中动作以概率方式影响感官结果。
• 将赋能形式化为动作与感官状态之间的互信息，并在动作策略上进行最大化。
• 在离散与连续领域中应用该框架，对连续情况使用变分推断和高斯过程近似。
• 通过机器人和人工智能体环境中的模拟与案例研究验证该方法。
• 利用最大化赋能的原则引导探索与行为选择，无需外部奖励信号。

实验结果

研究问题

• RQ1 如何将赋能形式化为衡量智能体对环境控制能力的与任务无关的度量？
• RQ2 赋能以何种方式可作为多样化感觉运动配置中自主智能体的可行内在动机？
• RQ3 在连续状态与动作空间中应用赋能所面临的计算挑战是什么，如何解决？
• RQ4 赋能如何在智能体系统中引发涌现行为，如探索、导航与自我保护？
• RQ5 将信道容量作为代理性和自主性代理的理论与实际影响是什么？

主要发现

• 赋能通过信息论的信道容量成功量化了智能体对环境的有效控制能力。
• 该框架实现了智能体的内在动机，促使其在无外部奖励的情况下产生探索与环境交互行为。
• 赋能可应用于多种感觉运动配置，包括机器人和模拟智能体，且行为结果一致。
• 已开发出一种连续域的快速近似方法，使该方法可在高维系统中实际部署。
• 实证结果表明，最大化赋能的智能体自然会探索其环境，并避免陷入低控制状态。
• 该形式化方法在离散与连续设置中均适用，具有坚实的信息论与随机控制理论基础。