[论文解读] Formal Contracts Mitigate Social Dilemmas in Multi-Agent RL

Andreas Haupt, Phillip J. K. Christoffersen+2 more|arXiv (Cornell University)|Aug 22, 2022

Multi-Agent Systems and Negotiation被引用 5

一句话总结

本文提出形式化契约作为多智能体强化学习（MARL）中解决社会困境的机制，其中智能体在可观察条件下自愿同意转移奖励。通过使智能体能够提出具有约束力的奖励转移，该方法在契约空间足够丰富时，确保所有子博弈完美均衡下实现社会最优行为，显著提升静态与动态环境中系统整体福利。

ABSTRACT

Multi-agent Reinforcement Learning (MARL) is a powerful tool for training autonomous agents acting independently in a common environment. However, it can lead to sub-optimal behavior when individual incentives and group incentives diverge. Humans are remarkably capable at solving these social dilemmas. It is an open problem in MARL to replicate such cooperative behaviors in selfish agents. In this work, we draw upon the idea of formal contracting from economics to overcome diverging incentives between agents in MARL. We propose an augmentation to a Markov game where agents voluntarily agree to binding transfers of reward, under pre-specified conditions. Our contributions are theoretical and empirical. First, we show that this augmentation makes all subgame-perfect equilibria of all Fully Observable Markov Games exhibit socially optimal behavior, given a sufficiently rich space of contracts. Next, we show that for general contract spaces, and even under partial observability, richer contract spaces lead to higher welfare. Hence, contract space design solves an exploration-exploitation tradeoff, sidestepping incentive issues. We complement our theoretical analysis with experiments. Issues of exploration in the contracting augmentation are mitigated using a training methodology inspired by multi-objective reinforcement learning: Multi-Objective Contract Augmentation Learning (MOCA). We test our methodology in static, single-move games, as well as dynamic domains that simulate traffic, pollution management and common pool resource management.

研究动机与目标

• 解决多智能体强化学习中个体激励与群体福利相冲突的社会困境。
• 设计一种去中心化机制，使自私智能体在无需集中协调的情况下实现合作结果。
• 形式化马尔可夫博弈的契约增强机制，在保持智能体自主性的同时促进亲社会行为。
• 证明更丰富的契约空间可提升系统性能，即使在部分可观察环境下亦然。
• 通过样本高效训练方法，将该方法扩展至复杂且动态的领域。

提出的方法

• 作者将契约增强机制引入完全可观察的马尔可夫博弈，使智能体能够基于状态-动作对提出奖励转移。
• 契约具有自愿性和约束力：智能体可否决提议，但一旦接受，奖励将根据契约条款进行调整。
• 该方法采用强制契约机制，当契约空间足够丰富时，确保社会最优行为成为子博弈完美均衡。
• 提出一种新型训练方法——多目标契约增强学习（MOCA），以减少价值估计偏差并提升契约学习过程中的样本效率。
• 该方法在静态博弈和动态领域（如交通、污染治理、共用资源管理）中进行了评估。
• 理论分析证明，当契约表达能力足够强时，所有子博弈完美均衡均为社会最优，且更高的契约表达能力可提升系统福利。

实验结果

研究问题

• RQ1 在无需集中协调或领导者-追随者结构的前提下，形式化契约能否解决MARL中的社会困境？
• RQ2 在何种条件下，基于契约的奖励转移可导致MARL中的社会最优均衡？
• RQ3 契约空间的表达能力如何影响部分可观察环境下的系统性能与福利？
• RQ4 去中心化、自我治理的契约机制能否在动态、现实世界启发的领域中超越标准MARL基线？
• RQ5 当仅一个智能体可发起契约时，契约提议的公平性影响是什么？

主要发现

• 若契约空间足够丰富且游戏完全可观察，则增强博弈的所有子博弈完美均衡均为社会最优。
• 在一般情形下（包括部分可观察博弈），更具表达力的契约空间可带来更高的系统福利，直接证明了契约复杂性与性能之间的关联。
• MOCA训练方法显著提升了样本效率并减少了价值估计偏差，在所有测试环境中均优于基线方法。
• 在囚徒困境中，一项对背叛者处以1.5单位罚款的契约可使博弈重构为唯一纳什均衡为相互合作，使双方收益从-2提升至-1。
• 在清理领域中，若一个智能体承诺向另一智能体支付费用以清理河流，可实现对社会最优策略的完全协调，最大化总奖励。
• 分析揭示了公平性权衡：尽管契约提升了系统福利，但仅提议智能体能直接获益，这在强调公平性的场景中引发担忧。