[论文解读] Learning Conventions in Multiagent Stochastic Domains using Likelihood Estimates

Craig Boutilier|arXiv (Cornell University)|Feb 13, 2013

Game Theory and Applications参考文献 17被引用 25

一句话总结

本文提出了一种贝叶斯学习方法，用于多智能体随机系统，其中动作不可观测，通过似然估计来推广虚幻博弈（fictitious play）并收敛至传统均衡。通过应用最大似然法消除不合理的策略，该方法在无需直接观测动作的情况下实现协调，从而在具有非对称动作失效的合作设置中提升收敛性。

ABSTRACT

Fully cooperative multiagent systems - those in which agents share a joint utility model- is of special interest in AI. A key problem is that of ensuring that the actions of individual agents are coordinated, especially in settings where the agents are autonomous decision makers. We investigate approaches to learning coordinated strategies in stochastic domains where an agent's actions are not directly observable by others. Much recent work in game theory has adopted a Bayesian learning perspective to the more general problem of equilibrium selection, but tends to assume that actions can be observed. We discuss the special problems that arise when actions are not observable, including effects on rates of convergence, and the effect of action failure probabilities and asymmetries. We also use likelihood estimates as a means of generalizing fictitious play learning models in our setting. Finally, we propose the use of maximum likelihood as a means of removing strategies from consideration, with the aim of convergence to a conventional equilibrium, at which point learning and deliberation can cease.

研究动机与目标

• 解决在智能体无法直接观测彼此动作的完全合作型多智能体系统中的协调问题。
• 克服现有贝叶斯学习模型在随机领域中假设动作可观测的局限性。
• 开发一种基于似然的学習机制，将虚幻博弈推广至不可观测动作的场景。
• 利用最大似然法迭代剔除不合理的策略，加速收敛至传统均衡。
• 分析动作失效概率和非对称性对不可观测场景下学习收敛性的影响。

提出的方法

• 该方法利用似然估计推断策略使用概率，基于观测结果而非直接的动作观测。
• 通过引入基于似然的信念更新，而非直接统计观测动作的频率，扩展了虚幻博弈。
• 使用最大似然估计评估并剔除在观测结果下统计上不合理的策略。
• 该框架将智能体行为建模为随机过程，其中动作可能失败或不可观测，相应地调整信念。
• 信念更新机制将结果观测与策略组合的似然性相结合，随时间逐步优化智能体的期望。
• 学习过程持续进行，直至达到传统均衡，此时推理过程停止。

实验结果

研究问题

• RQ1 当动作不可直接观测时，智能体如何在随机多智能体系统中学习协调策略？
• RQ2 动作失效概率和非对称性对不可观测场景下收敛速度有何影响？
• RQ3 在不可观测领域中，基于似然的信念更新是否能改善收敛性，相比标准虚幻博弈？
• RQ4 最大似然法在多大程度上可用于剪枝不合理的策略并加速收敛至均衡？
• RQ5 在缺乏对他人动作完整信息的完全合作系统中，该方法如何维持协调？

主要发现

• 基于似然的方法在传统虚幻博弈失效的不可观测多智能体随机领域中实现了有效协调。
• 最大似然剪枝显著减少了候选策略数量，加速了收敛至传统均衡。
• 与标准虚幻博弈相比，该方法在非对称动作失效概率下表现出更优的收敛速率。
• 即使动作未被观测，该框架也能通过利用结果似然推断策略使用，实现稳定协调。
• 该方法通过在似然估计中整合失效概率，成功处理了随机动作失效问题。
• 收敛达到传统均衡，使学习与推理可高效终止。