[论文解读] A Game-Theoretic Utility Network for Cooperative Multi-Agent Decisions in Adversarial Environments

Qin Yang, Ramviyas Parasuraman|arXiv (Cornell University)|Apr 23, 2020

Infrastructure Resilience and Vulnerability Analysis参考文献 16被引用 4

一句话总结

本文提出博弈论效用树（GUT），一种分层网络模型，将高层合作策略分解为可执行的低层动作，适用于对抗环境中的多智能体系统。通过整合博弈论、贝叶斯网络及基于需求的效用函数，GUT在模拟中优于QMIX，通过改进合作建模与不完全信息下的预测建模，实现了更高的胜率和更低的系统成本。

ABSTRACT

Underlying relationships among multi-agent systems (MAS) in hazardous scenarios can be represented as Game-theoretic models. We measure the performance of MAS achieving tasks from the perspective of balancing success probability and system costs. This paper proposes a new network-based model called Game-theoretic Utility Tree (GUT), which decomposes high-level strategies into executable low-level actions for cooperative MAS decisions. This is combined with a new payoff measure based on agent needs for real-time strategy games. We present an Explore game domain to evaluate GUT against the state-of-the-art QMIX decision-making method. Conclusive results on extensive numerical simulations indicate that GUT can organize more complex relationships among MAS cooperation, helping the group achieve challenging tasks with lower costs and a higher winning rate.

研究动机与目标

• 为解决在对抗环境中设计平衡任务成功概率与系统成本的合作多智能体系统所面临的挑战。
• 在不确定性条件下，对复杂智能体关系与分层决策进行建模，尤其针对有意与无意的对手。
• 基于马斯洛需求层次的启发，提出一种新颖的基于智能体需求的效用计算框架，以指导合作策略选择。
• 在逼真的博弈论模拟环境中，将GUT框架与QMIX等最先进方法进行对比评估。
• 研究在不完全信息下预测建模对系统性能与决策鲁棒性的影响。

提出的方法

• GUT被构建成一个博弈论效用计算单元的分层树结构，将高层策略分解为可执行的低层动作，以降低策略空间复杂度。
• 效用函数基于需求层次计算，其中智能体效用源自对生存、能量和任务成功期望的综合，类似于人类需求金字塔。
• 提出一种新颖的收益衡量方法，整合了智能体特定需求与系统级成本，实现对合作效率与成功概率的平衡评估。
• 该方法结合了贝叶斯网络用于概率推理、博弈论用于均衡推理以及效用理论用于基于价值的决策。
• 在不完全信息场景下，采用线性与多项式回归两种预测模型，从间接观测中估计对手状态（如能量水平）。
• 系统在自定义的“探索”游戏领域中进行评估，模拟探险者与外星人之间的对抗，包含受控的对抗动态与环境障碍。

实验结果

研究问题

• RQ1 与现有方法相比，分层博弈论效用网络是否能提升多智能体系统在对抗环境中的合作能力？
• RQ2 将智能体需求建模为效用层次，对系统级性能与决策鲁棒性有何影响？
• RQ3 基于可观测成本（如生命值、能量）的预测模型在不完全信息下，能在多大程度上提升决策质量？
• RQ4 有意与无意对手如何共同影响合作多智能体任务中的系统成本与成功概率？
• RQ5 在复杂动态场景中，GUT是否能实现比QMIX更复杂且高效的协作模式？

主要发现

• 在‘探索’领域中，GUT的胜率高于QMIX，尤其在不完全信息条件下，表现出更优的战略协调能力。
• 系统成本（以每轮平均生命值与能量消耗衡量）显著低于QMIX，表明效率更高。
• 在线性回归模型与多项式模型的比较中，线性模型在不完全信息下预测对手能量水平时表现更优，个体性能指标更贴近真实值。
• 引入无意对手（如山脉）降低了胜率并增加了系统成本，但GUT在该条件下仍优于QMIX，保持了更好的性能。
• 预测模型参数需根据场景上下文进行调整，凸显了基于经验学习以优化效用与预测函数的必要性。
• GUT实现了更复杂的智能体间协作关系，表现为群体层面结果的改善以及个体与系统成本的降低。