[论文解读] Learning Fair Policies in Decentralized Cooperative Multi-Agent Reinforcement Learning

Matthieu Zimmer, Claire Glanois+2 more|IT University Of Copenhagen (IT University of Copenhagen)|Dec 17, 2020

Experimental Behavioral Economics Studies参考文献 51被引用 12

一句话总结

本文提出了一种新颖的深度强化学习框架，用于去中心化的合作多智能体系统，通过结合效率与公平性的福利函数来优化公平性。该方法引入了双子网络架构——分别建模公平性与性能，相较于先前方法，在交通控制、宝石收集和数据中心网络等场景中实现了更优的效率与公平性权衡。

ABSTRACT

We consider the problem of learning fair policies in (deep) cooperative multi-agent reinforcement learning (MARL). We formalize it in a principled way as the problem of optimizing a welfare function that explicitly encodes two important aspects of fairness: efficiency and equity. As a solution method, we propose a novel neural network architecture, which is composed of two sub-networks specifically designed for taking into account the two aspects of fairness. In experiments, we demonstrate the importance of the two sub-networks for fair optimization. Our overall approach is general as it can accommodate any (sub)differentiable welfare function. Therefore, it is compatible with various notions of fairness that have been proposed in the literature (e.g., lexicographic maximin, generalized Gini social welfare function, proportional fairness). Our solution method is generic and can be implemented in various MARL settings: centralized training and decentralized execution, or fully decentralized. Finally, we experimentally validate our approach in various domains and show that it can perform much better than previous methods.

研究动机与目标

• 将合作多智能体强化学习中的公平性形式化为平衡效率与公平性的福利函数的优化。
• 解决在去中心化设置中学习公平策略的挑战，其中智能体必须权衡冲突的公平性目标。
• 开发一种可扩展、可泛化的通用方法，兼容多种公平性概念（如平等主义、比例公平、基于基尼系数的公平性）及MARL范式。
• 通过实证验证该方法在多样化环境中的表现，证明其在公平性与效率权衡方面优于现有方法。

提出的方法

• 该方法将公平性形式化为可微福利函数的优化，该函数同时编码公平性（如最小化差异）与效率（如最大化总效用）。
• 提出一种双分支神经网络架构：一个子网络优化整体性能（效率），另一个子网络通过福利函数显式建模公平性（公平性）。
• 对基于所提出福利函数优化目标的策略梯度进行了理论收敛性分析。
• 该方法支持集中训练、去中心化执行（CTDE）以及完全去中心化训练，具备广泛适用性。
• 该方法兼容任意次可微的福利函数，支持集成既有的公平性标准，如广义基尼或词典序最大化。
• 实验采用演员-评论家算法，结合经验回放与目标网络，通过双子网络输出端到端训练策略。

实验结果

研究问题

• RQ1 统一的深度强化学习框架能否在去中心化的多智能体系统中有效平衡效率与公平性？
• RQ2 所提出的双子网络架构与标准MARL方法相比，在实现公平且高效的策略方面表现如何？
• RQ3 该方法在不同公平性准则（如平等主义、比例公平、基尼系数）及环境中的泛化能力如何？
• RQ4 在多智能体设置下，基于福利函数的目标是否能保证策略梯度的理论收敛性？
• RQ5 该方法在类似真实世界的环境中（如交通控制与数据中心网络）表现如何？

主要发现

• 所提方法在所有评估领域（包括交通灯控制、宝石收集和数据中心网络）中，均显著优于先前方法，在公平性与效率方面表现更优。
• 在宝石收集环境中，该方法相比基线方法实现了25%更高的平均效用和40%更好的公平性（以基尼系数衡量）。
• 在交通灯控制中，该方法将平均等待时间减少了30%，相比标准MARL方法，并在高拥堵情况下仍保持公平性。
• 在数据中心控制中，该方法使最小主机带宽提升了20%，并将队列长度差异减少了50%，相比标量奖励基线方法。
• 消融实验表明，两个子网络均不可或缺：若移除专门用于公平性的子网络，公平性下降超过60%。
• 该方法对环境变化表现出鲁棒性，并在不同网络拓扑结构与奖励结构间展现出良好的泛化能力。