[论文解读] Distributed Online Optimization for Multi-Agent Optimal Transport

Vishaal Krishnan, Sonia Martı́nez|arXiv (Cornell University)|Apr 4, 2018

Distributed Control Multi-Agent Systems被引用 4

一句话总结

该论文提出了一种可扩展的、分布式的在线优化算法，用于多智能体最优传输问题，采用两步迭代方案：智能体通过分布式原始-对偶算法协作估计Kantorovich势函数，随后执行近端下降以将集体传输至目标概率测度。该方法确保渐近收敛至最优传输计划，同时保持分布式、实时实现，并具备理论保证。

ABSTRACT

We propose a scalable, distributed algorithm for the optimal transport of large-scale multi-agent systems. We formulate the problem as one of steering the collective towards a target probability measure while minimizing the total cost of transport, with the additional constraint of distributed implementation. Using optimal transport theory, we realize the solution as an iterative transport based on a proximal descent scheme. At each stage of the transport, the agents implement an online, distributed primal-dual algorithm to obtain local estimates of the Kantorovich potential for optimal transport from the current distribution of the collective to the target distribution. Using these estimates as their local objective functions, the agents then implement the transport by proximal descent. This two-step process is carried out recursively by the agents to converge asymptotically to the target distribution. We rigorously establish the underlying theoretical framework for the algorithm and test its behavior via numerical experiments.

研究动机与目标

• 为大规模多智能体系统中最优传输缺乏真正分布式、可扩展的算法提供解决方案。
• 实现实时、去中心化的多智能体集体控制，使其趋近于目标空间分布，同时最小化运输成本。
• 开发一种分布式在线算法，避免集中式规划或过度的智能体间通信。
• 基于最优传输理论，严格建立所提分布式方案的收敛性与理论有效性。

提出的方法

• 该算法利用度量成本的Kantorovich对偶性，推导出最优传输问题的对偶形式。
• 智能体通过仅依赖局部信息交换的分布式原始-对偶在线优化方案，迭代估计Kantorovich势函数。
• 每个智能体将其对势函数的局部估计用作局部目标函数，在近端下降更新中计算运输步长。
• 该过程为递归式：在每次迭代中，智能体基于其局部势函数估计和近端更新，调整自身位置以最小化运输成本。
• 该方法利用了Kantorovich势函数几乎处处可微的性质，从而可沿长度最小化路径进行测地线式传输。
• 通过证明其与测地线传输的等价性，并利用对偶形式的性质，建立了向最优传输计划收敛的理论依据。

实验结果

研究问题

• RQ1 能否在无需集中规划的情况下，以完全分布式、在线方式实现多智能体系统的最优传输？
• RQ2 智能体如何仅通过局部信息和有限通信协作估计Kantorovich势函数？
• RQ3 近端下降步长与最优传输计划中的测地线路径之间存在何种关系？
• RQ4 在给定约束条件下，该分布式算法能否实现向最优传输计划的渐近收敛？

主要发现

• 所提出的分布式原始-对偶算法使智能体仅通过邻居间通信即可局部估计Kantorovich势函数。
• 基于局部势函数估计的近端下降步长，能渐近收敛至最优传输计划。
• 最优传输计划被证明等价于沿测地线的传输，且该方案的极小化器对应于这些测地线的线段。
• Kantorovich势函数几乎处处可微，且其梯度范数有界，从而支持稳定的局部计算。
• 该算法在无需集中计算或全局系统状态知识的情况下，实现向目标分布的收敛。