[论文解读] Learning Altruistic Behaviours in Reinforcement Learning without External Rewards

Tim Franzmeyer, Mateusz Malinowski+1 more|arXiv (Cornell University)|Jul 20, 2021

Reinforcement Learning in Robotics被引用 4

一句话总结

本文提出了一种强化学习框架，其中智能体通过最大化其他智能体的未来选择（状态可达性）来学习利他行为，而无需外部奖励或了解其目标。该方法使用内在好奇心来估计并最大化主导智能体的潜在未来状态，在多智能体环境中实现了与监督基线相当或更优的性能。

ABSTRACT

Can artificial agents learn to assist others in achieving their goals without knowing what those goals are? Generic reinforcement learning agents could be trained to behave altruistically towards others by rewarding them for altruistic behaviour, i.e., rewarding them for benefiting other agents in a given situation. Such an approach assumes that other agents' goals are known so that the altruistic agent can cooperate in achieving those goals. However, explicit knowledge of other agents' goals is often difficult to acquire. In the case of human agents, their goals and preferences may be difficult to express fully; they might be ambiguous or even contradictory. Thus, it is beneficial to develop agents that do not depend on external supervision and learn altruistic behaviour in a task-agnostic manner. We propose to act altruistically towards other agents by giving them more choice and allowing them to achieve their goals better. Some concrete examples include opening a door for others or safeguarding them to pursue their objectives without interference. We formalize this concept and propose an altruistic agent that learns to increase the choices another agent has by preferring to maximize the number of states that the other agent can reach in its future. We evaluate our approach in three different multi-agent environments where another agent's success depends on altruistic behaviour. Finally, we show that our unsupervised agents can perform comparably to agents explicitly trained to work cooperatively, in some cases even outperforming them.

研究动机与目标

• 开发在不了解其他智能体目标或未接收外部奖励的情况下仍能表现利他行为的智能体。
• 探究最大化智能体未来选择（状态可达性）是否可作为利他行为的一般代理指标。
• 评估无监督、基于内在奖励的学习方法是否能与监督合作训练在多智能体环境中表现相当或更优。
• 识别在最大化选择时可能导致次优行为的失败模式，即使其理论依据成立。

提出的方法

• 利他智能体使用基于主导智能体未来状态可达性的内在奖励信号，通过内在好奇心（IC）模块计算。
• IC通过预测模型估计，该模型预测主导智能体随时间的状态分布，从而鼓励利他智能体保持或扩展主导智能体的选择范围。
• 该方法在多智能体强化学习框架中实现，利他智能体可观测所有智能体但不被观测，其行为旨在最大化主导智能体的选择。
• 该方法使用标准深度强化学习算法（如SAC）进行训练，结合内在好奇心奖励，未进行任何外部奖励塑形。
• 使用三种环境——Gridworld、Locomotion和Tag——评估该方法在不同程度的任务无关合作下的表现。
• 将该方法与随机基线、边界惩罚基线以及监督基线进行比较，包括共享奖励的变体。

实验结果

研究问题

• RQ1 智能体能否在不了解目标或未接收外部奖励的情况下，学会对其他智能体表现利他行为？
• RQ2 在多样化环境中，最大化另一智能体可到达的未来状态数量是否可作为利他行为的有效代理？
• RQ3 在多智能体设置中，无监督利他智能体的性能与监督合作智能体相比如何？
• RQ4 选择最大化目标的失败模式是什么？其对超参数的依赖性如何？

主要发现

• 在Tag环境中，所提方法将每集主导智能体被抓住的次数减少至2.87 ± 0.96，显著优于监督基线（6.94 ± 1.13）。
• 在Tag环境中，无监督利他智能体的表现优于随机、笼子惩罚及甚至监督基线，表明基于内在好奇心的奖励机制具有显著有效性。
• 在Locomotion环境中，该方法优于所有无监督基线，并与监督方法表现相当或更优，表明其在各类任务中的鲁棒性。
• Gridworld实验表明，利他智能体成功打开了门，使主导智能体能够到达更多状态，证实了该机制的功能有效性。
• 该方法识别出在主导智能体目标与状态多样性不一致时，最大化选择可能导致次优行为的失败案例，凸显了对超参数仔细调优的必要性。
• 结果表明，基于内在好奇心的选择最大化是一种可行、可扩展且有效的多智能体强化学习中利他行为的代理方法，尤其在缺乏目标信息时表现优异。