[论文解读] Learning Fairness in Multi-Agent Systems

Jiechuan Jiang, Zongqing Lu|arXiv (Cornell University)|Oct 31, 2019

Experimental Behavioral Economics Studies被引用 13

一句话总结

本文提出FEN，一种分层强化学习框架，通过控制器-子策略架构使多智能体系统能够同时学习公平性与效率。通过按智能体分解公平性，并使用基于信息论探索的公平-高效奖励，FEN在去中心化多智能体环境中实现了帕累托效率与公平性，相较于基线方法在作业调度、马太效应及制造场景中表现更优，资源利用率最高达82%，变异系数（CV）为0.10。

ABSTRACT

Fairness is essential for human society, contributing to stability and productivity. Similarly, fairness is also the key for many multi-agent systems. Taking fairness into multi-agent learning could help multi-agent systems become both efficient and stable. However, learning efficiency and fairness simultaneously is a complex, multi-objective, joint-policy optimization. To tackle these difficulties, we propose FEN, a novel hierarchical reinforcement learning model. We first decompose fairness for each agent and propose fair-efficient reward that each agent learns its own policy to optimize. To avoid multi-objective conflict, we design a hierarchy consisting of a controller and several sub-policies, where the controller maximizes the fair-efficient reward by switching among the sub-policies that provides diverse behaviors to interact with the environment. FEN can be trained in a fully decentralized way, making it easy to be deployed in real-world applications. Empirically, we show that FEN easily learns both fairness and efficiency and significantly outperforms baselines in a variety of multi-agent scenarios.

研究动机与目标

• 为解决多智能体强化学习中公平性与效率同时优化的挑战，二者常为冲突目标。
• 设计一种去中心化、可扩展的方法，使智能体在无需集中协调的情况下学习公平且高效的策略。
• 通过引入通用化、可学习的公平性框架，克服手工设计或领域特定公平机制的局限性。
• 通过理论分析与多样化多智能体环境中的实证验证，确保公平性得到保障。
• 证明分层结构结合多样化子策略相较于单一策略或非分层方法，能提升学习稳定性与性能。

提出的方法

• FEN采用包含一个控制器与多个子策略的分层结构，控制器通过选择子策略来优化公平-高效奖励。
• 每个智能体学习个性化的公平-高效奖励，结合环境奖励与基于平均一致性（average consensus）的公平性，确保策略学习的协调性。
• 一个子策略被训练以最大化环境奖励，而其他子策略则受基于信息论的奖励引导，以探索多样化、促进公平性的行为。
• 采用平均一致性机制在完全去中心化的方式下同步各智能体间的公平性相关信息，实现在本地学习的同时实现全局公平协调。
• 控制器根据当前状态与奖励信号动态切换子策略，实现公平性与效率之间最优权衡的自适应行为选择。
• 该框架完全去中心化，仅需本地观测与通信，适用于真实世界多智能体系统部署。

实验结果

研究问题

• RQ1 分层强化学习框架是否能在无集中控制下有效平衡多智能体系统中的公平性与效率？
• RQ2 与单一策略或随机策略相比，基于信息论探索引导的子策略在公平性学习方面有何改进？
• RQ3 所提出的公平-高效奖励在无限时域序列决策中，能在多大程度上同时确保帕累托效率与公平性？
• RQ4 在多样化多智能体场景中，FEN在公平性（以CV衡量）与效率（以资源利用率与产品数量衡量）方面相较于现有方法表现如何？
• RQ5 分层设计对学习稳定性与性能的贡献有多大，特别是在制造厂与马太效应等复杂环境中的表现？

主要发现

• 在制造厂场景中，FEN实现了82%的资源利用率，显著优于次优基线方法（34%），展现出高效率与高公平性。
• FEN的变异系数（CV）为0.10，所有方法中最低，表明其公平性优于基线方法（CV值范围为0.26至0.63）。
• FEN平均制造48件产品，超过次优方法（23件）一倍以上，凸显其在平衡异构智能体贡献方面的有效性。
• 消融实验表明，若移除分层结构，性能显著下降，FEN w/o Hierarchy仅实现22%的资源利用率与15件产品，证明分层结构的关键作用。
• 子策略可视化结果表明，学习到的子策略避免了聚类，行为分布于不同区域，验证了信息论奖励在促进公平性多样性方面的有效性。
• 控制器在多样化子策略间切换的能力，使FEN在动态、复杂环境（包括作业调度与马太效应场景）中均能维持高性能。