[论文解读] Complex behavior from intrinsic motivation to occupy action-state path space

Jorge Ramírez‐Ruiz, Dmytro Grytskyy+3 more|arXiv (Cornell University)|May 20, 2022

Evolutionary Game Theory and Cooperation被引用 4

一句话总结

本文提出，通过最大化未来动作-状态路径熵的内在动机——而非外部奖励——可生成复杂、目标导向的行为，如跳舞、捉迷藏和利他主义。通过为动作-状态轨迹的熵最大化建立贝尔曼方程，作者证明了最优策略的唯一性与收敛性，表明智能体在无需奖励塑形或外部目标的情况下，自然探索出丰富多样的行为。

ABSTRACT

Most theories of behavior posit that agents tend to maximize some form of reward or utility. However, animals very often move with curiosity and seem to be motivated in a reward-free manner. Here we abandon the idea of reward maximization, and propose that the goal of behavior is maximizing occupancy of future paths of actions and states. According to this maximum occupancy principle, rewards are the means to occupy path space, not the goal per se; goal-directedness simply emerges as rational ways of searching for resources so that movement, understood amply, never ends. We find that action-state path entropy is the only measure consistent with additivity and other intuitive properties of expected future action-state path occupancy. We provide analytical expressions that relate the optimal policy and state-value function, and prove convergence of our value iteration algorithm. Using discrete and continuous state tasks, including a high--dimensional controller, we show that complex behaviors such as `dancing', hide-and-seek and a basic form of altruistic behavior naturally result from the intrinsic motivation to occupy path space. All in all, we present a theory of behavior that generates both variability and goal-directedness in the absence of reward maximization.

研究动机与目标

• 为强化学习中外部奖励定义这一根本性问题提供解决方案，该问题通常具有任意性和任务依赖性。
• 提出一种新的内在动机机制，即智能体最大化长期动作-状态路径的占用率，而非外部奖励。
• 将动作-状态路径熵形式化为唯一满足可加性、正性及可导性的未来路径占用度量。
• 证明仅通过熵最大化即可在离散与连续环境中生成复杂、自适应且看似目标导向的行为。
• 为基于熵的策略优化提供数学上严谨的框架，保证唯一解与收敛性。

提出的方法

• 智能体的目标是最大化折扣后的未来动作-状态路径熵，建模为无外部奖励的马尔可夫决策过程。
• 最优策略由一个贝尔曼方程推导得出，该方程通过超参数 α 和 β 平衡动作熵与状态熵。
• 通过迭代值迭代计算状态值函数，连续状态空间中使用线性插值。
• 方法对智能体使用确定性转移，对其他实体（如宠物）使用随机转移，从而在贝尔曼更新中实现对后继状态的求和。
• 在离散环境（智能体-宠物、猎物-捕食者）和连续环境（CartPole）中验证该方法，通过不同 β 值控制状态熵与动作熵的权重。
• 插值后对值函数进行归一化，以确保生成的概率策略有效。

实验结果

研究问题

• RQ1 智能体是否能在无任何外部奖励塑形的情况下，自发生成复杂且看似目标导向的行为，如跳舞和捉迷藏？
• RQ2 动作-状态路径熵是否是唯一满足可加性与直观性质的未来路径占用度量？
• RQ3 最大化动作-状态路径熵是否在贝尔曼方程框架下产生唯一且收敛的解？
• RQ4 通过熵最大化实现的内在探索是否能自然导致利他行为，如为宠物打开门？
• RQ5 动作熵与状态熵之间的平衡（由 β 控制）如何影响复杂行为的涌现？

主要发现

• 在 CartPole 环境中，最大化动作-状态路径熵的智能体自发表现出‘跳舞’行为，即使无外部奖励。
• 在猎物-捕食者任务中，智能体通过利用环境约束和随机转移，自然执行捉迷藏行为。
• 在智能体-宠物场景中，当 β=1 时，智能体学会打开门（延长门开启时间），表现出一种基本形式的利他主义。
• 门保持开启状态的时间比例从 β=0 时的 0.05 上升至 β=1 时的 0.85，表明其对状态熵权重的强依赖性。
• 热力图显示，更高的 β 值导致宠物可达状态的占用更加均匀且广泛，表明探索更加丰富。
• 理论分析证明，动作-状态路径熵的贝尔曼方程具有唯一解，并在迭代更新规则下收敛。