[论文解读] Intrinsic fluctuations of reinforcement learning promote cooperation

Wolfram Barfuß, Janusz M Meylahn|arXiv (Cornell University)|Sep 1, 2022

Evolutionary Game Theory and Cooperation被引用 6

一句话总结

本文表明，在使用 $\epsilon$-greedy 探索的时序差分强化学习中，内在的随机波动是多智能体系统中自发合作的关键驱动力。通过使用一周期记忆的重复囚徒困境，作者发现这些波动将合作率从无噪声时的约 40–50% 提升至最高 80%，揭示了噪声在合作学习中是关键促进因素而非障碍。

ABSTRACT

In this work, we ask for and answer what makes classical temporal-difference reinforcement learning with epsilon-greedy strategies cooperative. Cooperating in social dilemma situations is vital for animals, humans, and machines. While evolutionary theory revealed a range of mechanisms promoting cooperation, the conditions under which agents learn to cooperate are contested. Here, we demonstrate which and how individual elements of the multi-agent learning setting lead to cooperation. We use the iterated Prisoner's dilemma with one-period memory as a testbed. Each of the two learning agents learns a strategy that conditions the following action choices on both agents' action choices of the last round. We find that next to a high caring for future rewards, a low exploration rate, and a small learning rate, it is primarily intrinsic stochastic fluctuations of the reinforcement learning process which double the final rate of cooperation to up to 80%. Thus, inherent noise is not a necessary evil of the iterative learning process. It is a critical asset for the learning of cooperation. However, we also point out the trade-off between a high likelihood of cooperative behavior and achieving this in a reasonable amount of time. Our findings are relevant for purposefully designing cooperative algorithms and regulating undesired collusive effects.

研究动机与目标

• 识别独立强化学习智能体在无显式协调下自发学习合作的条件。
• 研究学习过程中内在随机性在促进合作行为方面的作用。
• 厘清学习率、探索率、折扣因子和噪声对多智能体强化学习中合作出现的相对贡献。
• 为理解与设计自主智能体中的合作算法提供框架，尤其适用于算法定价和自动驾驶车辆等场景。

提出的方法

• 本研究在双智能体、一周期记忆的重复囚徒困境环境中，使用期望 SARSA 与 $\epsilon$-greedy 探索方法。
• 通过分析均衡稳定性对折扣因子 ($\delta$) 和探索率 ($\epsilon$) 的依赖关系，对策略稳定性进行解析分析。
• 通过确定性策略平均学习动态评估可学习性，以计算不同均衡的吸引盆大小。
• 实施一种具有时间依赖学习率 ($\alpha(s,a,t) = 1/(t+1)$) 的随机批量学习算法，以模拟现实学习动态并隔离内在波动的影响。
• 该算法使用两个价值表：$q_{\text{act}}$ 用于动作选择，$q_{\text{val}}$ 用于价值估计，两者采用独立的学习率以实现自适应。
• 模拟运行 1000 条轨迹，初始状态-动作值随机设置，以测量向全背叛、冷酷触发和赢留输变均衡的收敛情况。

实验结果

研究问题

• RQ1 在时序差分强化学习中，何种条件会导致多智能体环境中自发合作？
• RQ2 学习过程中的内在随机波动如何影响合作策略的出现？
• RQ3 学习率、探索率和折扣因子对实现合作可能性的相对贡献是什么？
• RQ4 通过独立学习能否可靠达到合作均衡，还是噪声对收敛至关重要？
• RQ5 实现高合作率与收敛所需时间之间存在何种权衡？

主要发现

• 强化学习过程中的内在随机波动将最终合作率从约 40–50% 提升至最高 80%，表明噪声是合作的关键促进因素。
• 合作均衡（赢留输变）仅在智能体足够重视未来回报（高折扣因子 $\delta$）、探索率较低（$\epsilon$）且使用小学习率时才表现出稳健稳定性。
• 在无随机性的情况下，合作均衡的吸引盆仅覆盖约 40–50% 的初始条件，表明确定性设置下可学习性有限。
• 引入内在波动显著扩大了有效吸引盆，使在更大比例的试验中实现合作收敛成为可能。
• 研究揭示了权衡关系：尽管更高噪声可提升合作可能性，但也会减缓收敛速度，导致高合作率在达到均衡的时间效率上降低。
• 结果表明，噪声并非缺陷，而是独立强化学习中自发合作的必要特征，挑战了‘应最小化噪声’的传统学习系统观点。