[论文解读] Distributed Algorithms for Linearly-Solvable Optimal Control in Networked Multi-Agent Systems

Neng Wan, Aditya Gahlawat+3 more|arXiv (Cornell University)|Feb 18, 2021

Distributed Control Multi-Agent Systems参考文献 54被引用 7

一句话总结

本文提出了一种用于网络化多智能体系统中可线性求解最优控制的分布式算法，使每个智能体仅通过本地观测和邻居信息即可计算本地控制策略。通过将全局最优控制问题分解为局部子系统，并利用路径积分公式和相对熵策略搜索，该方法在离散时间与连续时间设置下均实现了可扩展、通信高效且最优的协调。

ABSTRACT

Distributed algorithms for both discrete-time and continuous-time linearly solvable optimal control (LSOC) problems of networked multi-agent systems (MASs) are investigated in this paper. A distributed framework is proposed to partition the optimal control problem of a networked MAS into several local optimal control problems in factorial subsystems, such that each (central) agent behaves optimally to minimize the joint cost function of a subsystem that comprises a central agent and its neighboring agents, and the local control actions (policies) only rely on the knowledge of local observations. Under this framework, we not only preserve the correlations between neighboring agents, but moderate the communication and computational complexities by decentralizing the sampling and computational processes over the network. For discrete-time systems modeled by Markov decision processes, the joint Bellman equation of each subsystem is transformed into a system of linear equations and solved using parallel programming. For continuous-time systems modeled by Itô diffusion processes, the joint optimality equation of each subsystem is converted into a linear partial differential equation, whose solution is approximated by a path integral formulation and a sample-efficient relative entropy policy search algorithm, respectively. The learned control policies are generalized to solve the unlearned tasks by resorting to the compositionality principle, and illustrative examples of cooperative UAV teams are provided to verify the effectiveness and advantages of these algorithms.

研究动机与目标

• 解决在通信受限和信息局部化条件下的网络化多智能体系统中可扩展最优控制的挑战。
• 将全局最优控制问题分解为局部子系统，以降低计算与通信开销。
• 在去中心化控制计算与采样过程的同时，保持智能体之间的相关性。
• 将可线性求解最优控制（LSOC）扩展至具有随机动力学和部分可观测性的多智能体系统。
• 利用组合性原理实现对未学习任务的策略泛化。

提出的方法

• 将多智能体系统划分为以每个智能体及其邻居为中心的因子化子系统，以实现局部优化。
• 对于离散时间系统，将联合贝尔曼方程转化为线性方程组，并通过并行编程求解。
• 对于连续时间系统，将最优性方程转换为线性PDE，并利用路径积分公式与样本高效的相对熵策略搜索（REPS）求解。
• 使用分布式迭代算法基于邻居信息更新本地满意度值，确保收敛至全局最优。
• 应用组合性原理，使训练后的策略可泛化至新任务而无需从头开始训练。
• 实现三种算法：(1) 通过线性系统求解实现的分布式LSOC，(2) 基于采样的LSOC，利用路径积分估计，(3) 基于REPS的LSOC，用于策略优化。

实验结果

研究问题

• RQ1 如何将可线性求解最优控制扩展至具有去中心化信息与通信约束的多智能体系统？
• RQ2 能否在不损失智能体间性能或相关性的情况下，有效将联合最优控制问题分解为局部子系统？
• RQ3 哪些分布式算法可在离散时间与连续时间多智能体系统中实现可扩展、通信高效且最优的控制？
• RQ4 如何利用组合性原理将学习到的控制策略泛化至新任务？
• RQ5 路径积分与基于REPS的方法在分布式LSOC中在多大程度上提升了样本效率与收敛性？

主要发现

• 所提出的分布式框架成功地将全局最优控制问题分解为局部子系统，在降低计算与通信复杂度的同时，保持了智能体间的相关性。
• 对于离散时间系统，联合贝尔曼方程被转化为线性系统并在并行计算中求解，实现了智能体间的高效计算。
• 在连续时间系统中，路径积分公式提供了最优控制策略的解析近似，而REPS确保了基于本地观测的样本高效策略学习。
• 所提出的算法在部分可观测性和通信受限条件下，性能与集中式LSOC方法相当，实现了最优性能。
• 组合性原理使训练后的策略可泛化至新任务，仅需极少重训练，展现出在不同场景间的可迁移性。
• 合作无人机团队的示例验证了分布式LSOC算法在真实多智能体协调任务中的有效性、可扩展性与鲁棒性。