[论文解读] MARL with General Utilities via Decentralized Shadow Reward Actor-Critic

Junyu Zhang, Amrit Singh Bedi+2 more|arXiv (Cornell University)|May 29, 2021

Multi-Agent Systems and Negotiation参考文献 68被引用 5

一句话总结

该论文提出DSAC，一种去中心化的多智能体强化学习算法，通过新颖的影子奖励机制，优化团队状态动作占据概率度量的非线性函数——即通用效用。通过去中心化消息传递估计本地占据概率度量及其梯度，DSAC在高概率下实现O(1/ε².⁵)步内收敛至ε-平稳点，并消除了虚假平稳点，从而实现超越累积回报的最优策略学习。

ABSTRACT

We posit a new mechanism for cooperation in multi-agent reinforcement learning (MARL) based upon any nonlinear function of the team's long-term state-action occupancy measure, i.e., a \emph{general utility}. This subsumes the cumulative return but also allows one to incorporate risk-sensitivity, exploration, and priors. % We derive the {\bf D}ecentralized {\bf S}hadow Reward {\bf A}ctor-{\bf C}ritic (DSAC) in which agents alternate between policy evaluation (critic), weighted averaging with neighbors (information mixing), and local gradient updates for their policy parameters (actor). DSAC augments the classic critic step by requiring agents to (i) estimate their local occupancy measure in order to (ii) estimate the derivative of the local utility with respect to their occupancy measure, i.e., the "shadow reward". DSAC converges to $ε$-stationarity in $\mathcal{O}(1/ε^{2.5})$ (Theorem ef{theorem:final}) or faster $\mathcal{O}(1/ε^{2})$ (Corollary ef{corollary:communication}) steps with high probability, depending on the amount of communications. We further establish the non-existence of spurious stationary points for this problem, that is, DSAC finds the globally optimal policy (Corollary ef{corollary:global}). Experiments demonstrate the merits of goals beyond the cumulative return in cooperative MARL.

研究动机与目标

• 解决在多智能体强化学习中优化通用效用（超越累积回报）时缺乏形式化保证的问题。
• 通过团队长期状态动作占据概率度量的非线性函数（如风险敏感性、探索与先验经验）实现MARL中的合作。
• 开发一种支持通用效用下通用收益的去中心化算法，同时保持可扩展性与收敛性保证。
• 为所提出的框架建立理论收敛性，并证明不存在虚假平稳点。
• 通过导航与探索任务中的实证验证，展示通用效用在合作多智能体强化学习中的实际优势。

提出的方法

• 引入‘影子奖励’的概念，即本地效用对智能体边际占据概率度量的导数，从而实现对非线性效用的梯度计算。
• 将训练过程分解为四个阶段：(1) 本地占据概率度量估计，(2) 影子奖励计算，(3) 与邻居的评论家参数平均（信息融合），(4) 本地策略梯度上升。
• 采用基于邻居间加权平均的去中心化评论家更新机制，实现在无集中协调下的价值估计一致性。
• 利用广义策略梯度定理公式化策略梯度，以考虑占据概率度量的非线性效用函数。
• 集成去中心化演员-评论家框架，每个智能体维护独立的策略与评论家，通过本地梯度与邻居参数平均进行更新。
• 通过利用效用函数的结构以及评论家参数在智能体间的混合，确保收敛性，从而实现全局最优性保证。

实验结果

研究问题

• RQ1 去中心化MARL算法能否有效优化状态动作占据概率度量的非线性函数形式的通用效用？
• RQ2 所提出的影子奖励机制是否能在去中心化设置下有效估计非线性团队目标的梯度？
• RQ3 在不同通信模式下，所提出算法的收敛速率如何？
• RQ4 在MARL中通用效用的优化景观中是否存在虚假平稳点？能否被避免？
• RQ5 该算法能否成功学习满足安全约束或优先考虑探索（超越累积回报）的策略？

主要发现

• DSAC在高概率下于O(1/ε².⁵)步内实现ε-平稳性，且在更高通信水平下可实现更快的O(1/ε²)收敛速度，如定理4.14与推论4.16所证明。
• 该算法可证明地避免虚假平稳点，确保收敛至全局最优策略，如推论4.15所确立。
• 实验表明，在安全约束中使用z=10作为惩罚参数可有效避免危险区域，影子奖励在这些状态下分配极低的负值。
• 在8个智能体的多智能体安全导航任务中，DSAC即使在不同通信拓扑（环形、小世界、随机）下，也能显著减少约束违规，并实现接近零的共识误差。
• 该方法能有效学习优先考虑安全性、探索性与先验经验的策略，表现为轨迹有效避开泥泞区域，并在探索最大化任务中提升回报。
• 占据概率度量与影子奖励的可视化结果表明，仅当效用函数中引入安全惩罚后，算法才学会避开危险区域，验证了该机制对效用设计的敏感性。