[论文解读] From Game-theoretic Multi-agent Log Linear Learning to Reinforcement Learning

Mohammadhosein Hasanbeig, Lacra Pavel|arXiv (Cornell University)|Feb 7, 2018

Game Theory and Applications参考文献 35被引用 6

一句话总结

本文提出了一种新颖的部分同步信念-对数线性学习（P-SBLLL）算法，放宽了多智能体对数线性学习中的异步性和完备性假设，实现了更快的收敛速度和更优的探索性能。此外，还提出了一种具有双重聚合机制的二阶Q-learning（SOQL）算法，用于无模型强化学习，尽管收敛速度较慢，但实现了更高的均衡性能，其有效性通过在势博弈中的数值实验得到验证。

ABSTRACT

The main focus of this paper is on enhancement of two types of game-theoretic learning algorithms: log-linear learning and reinforcement learning. The standard analysis of log-linear learning needs a highly structured environment, i.e. strong assumptions about the game from an implementation perspective. In this paper, we introduce a variant of log-linear learning that provides asymptotic guarantees while relaxing the structural assumptions to include synchronous updates and limitations in information available to the players. On the other hand, model-free reinforcement learning is able to perform even under weaker assumptions on players' knowledge about the environment and other players' strategies. We propose a reinforcement algorithm that uses a double-aggregation scheme in order to deepen players' insight about the environment and constant learning step-size which achieves a higher convergence rate. Numerical experiments are conducted to verify each algorithm's robustness and performance.

研究动机与目标

• 放宽标准对数线性学习中对异步性和完备性的假设，同时保持收敛性保证。
• 通过部分同步学习提升多智能体系统中的收敛速度和探索效率。
• 开发一种具有更深层次环境洞察力的无模型强化学习算法，适用于未知或复杂效用结构的场景。
• 在对效用函数和其他智能体策略知识有限的条件下，提升势博弈中的均衡性能。
• 通过在多智能体环境中进行覆盖优化的数值实验，验证所提出的算法。

提出的方法

• 提出部分同步信念-对数线性学习（P-SBLLL），允许智能体分组同时更新，同时保证收敛至势函数最大化者。
• 在SOQL中引入双重聚合机制，通过保留过去收益和动作价值的记忆，提升学习深度和决策质量。
• 在SOQL中采用恒定学习步长以加速收敛，与标准Q-learning中递减步长形成对比。
• 使用未知分量数的改进期望最大化（EM）算法，用于估计模型化学习中的效用分布。
• 在P-SBLLL中采用信念更新机制，使智能体可根据当前环境上下文自主决定是否进行探索。
• 结合高斯混合模型（GMM）的效用建模与EM算法，以在P-SBLLL中优化动作选择，降低对效用函数先验知识的依赖。

实验结果

研究问题

• RQ1 对数线性学习是否可在不损失收敛性保证的前提下，同时对同步更新和不完整动作集保持鲁棒性？
• RQ2 在收敛速度和均衡质量方面，部分同步学习相较于传统异步或单智能体更新机制有何差异？
• RQ3 具有双重聚合机制的无模型强化学习算法是否可在势博弈中实现优于标准Q-learning的均衡性能？
• RQ4 在强化学习中，使用恒定学习率与递减学习率时，收敛速度与均衡质量之间的权衡如何？
• RQ5 当效用分布的分量数量未知时，改进的EM算法在多大程度上可提升模型化学习的性能？

主要发现

• P-SBLLL的收敛速度优于BLLL，由于智能体基于上下文的自主学习决策，实现了更高的覆盖价值和更少的冗余探索。
• 在数值实验中，P-SBLLL在10次运行中均成功覆盖所有目标，而BLLL因探索速度较慢且适应性较差，在部分试验中未能实现完全覆盖。
• SOQL的最终覆盖价值高于标准Q-learning，尽管收敛速度较慢，表明通过更深层次的聚合机制实现了更优的均衡性能。
• SOQL的最终配置中，所有机器人均成功定位目标，而标准Q-learning在相同初始条件下未能定位全部目标。
• SOQL中的双重聚合机制使智能体能够保留更丰富的历史交互记忆，从而实现更优的长期收益估计和策略选择。
• 改进的EM算法在无需预先知晓分量数量的情况下成功估计了效用分布，提升了模型化学习在实证场景中的鲁棒性。