[论文解读] Fully Decentralized Policies for Multi-Agent Systems: An Information Theoretic Approach

Roel Dobbe, David Fridovich-Keil+1 more|arXiv (Cornell University)|Jul 20, 2017

Reinforcement Learning in Robotics参考文献 4被引用 3

一句话总结

本文提出了一种基于信息论的框架，用于在多智能体系统中学习完全去中心化的策略，通过将策略学习建模为率失真问题。该框架利用互信息实现性能分析与最优通信结构设计，在仅产生0.15%平均次优性且无约束违反的情况下，实现了真实世界最优潮流（OPF）案例研究中的近似最优性能。

ABSTRACT

Learning cooperative policies for multi-agent systems is often challenged by partial observability and a lack of coordination. In some settings, the structure of a problem allows a distributed solution with limited communication. Here, we consider a scenario where no communication is available, and instead we learn local policies for all agents that collectively mimic the solution to a centralized multi-agent static optimization problem. Our main contribution is an information theoretic framework based on rate distortion theory which facilitates analysis of how well the resulting fully decentralized policies are able to reconstruct the optimal solution. Moreover, this framework provides a natural extension that addresses which nodes an agent should communicate with to improve the performance of its individual policy.

研究动机与目标

• 为解决在无通信或全局协调的情况下学习完全去中心化策略的挑战。
• 利用率失真理论分析去中心化策略的性能极限。
• 设计最小化去中心化策略近似失真度的最优通信结构。
• 通过提供原则性的理论基础，将基于回归的去中心化方法拓展至先前工作之外。
• 在电力配电网中的真实世界最优潮流（OPF）问题上验证该框架。

提出的方法

• 将最优集中式动作 $ u_i^* $ 建模为依赖于全局状态 $ x $ 的随机变量，假设 $ p(u_i^*|x) $ 为平稳分布。
• 将去中心化策略学习建模为压缩问题：每个智能体仅观测 $ x_i $，并通过 $ \hat{u}_i = \hat{\pi}_i(x_i) $ 重构 $ u_i^* $。
• 利用率失真理论推导出期望失真度的下界，其为互信息 $ I(u_i^*; x_i) $ 的函数。
• 利用该下界设计一种算法，为每个智能体选择最优通信伙伴以最小化失真度。
• 通过历史数据中 $ x_i $ 与对应 $ u_i^* $ 的回归训练本地策略 $ \hat{\pi}_i $，使用如线性或二次型特征核。
• 在历史负荷与光伏数据基础上，将该框架应用于真实OPF问题，离线求解集中式OPF并训练去中心化策略。

实验结果

研究问题

• RQ1 当智能体之间无通信时，完全去中心化策略在多大程度上能近似最优集中式解？
• RQ2 去中心化策略的性能极限在失真度方面如何？其受信息论约束的边界是什么？
• RQ3 智能体之间何种通信结构能最小化去中心化策略近似中的失真度？
• RQ4 所提出的框架能否超越简单回归，推广至复杂的真实世界控制问题，如最优潮流？
• RQ5 最优通信策略的性能与随机或启发式策略相比如何？

主要发现

• 在真实配电网OPF案例研究中，所提方法实现了相对于集中式最优策略的平均次优性为0.15%，最大偏差为1.6%。
• 该框架在去中心化控制场景中成功避免了所有电压约束违规，性能与集中式解完全一致。
• 基于定理1推导出的最优通信策略在最小化OPF问题的均方误差失真度方面，优于随机通信策略。
• 率失真框架为失真度提供了原则性的下界，其依赖于最优动作与局部状态之间的互信息。
• 该方法通过引入策略性能与通信结构设计的理论基础，拓展了先前关于去中心化OPF的研究工作。
• 基于线性和二次型特征核的回归策略学习表现出色，其中后者在复杂系统中展现出更高的精度。