[论文解读] A Survey on Distributed Online Optimization and Game

Xiuxian Li, Lihua Xie+1 more|arXiv (Cornell University)|May 1, 2022

Advanced Bandit Algorithms Research被引用 4

一句话总结

本文对多智能体网络中的分布式在线优化（DOO）和在线博弈（OG）进行了全面综述，涵盖问题建模、通信与计算挑战、算法设计及性能度量。研究识别出若干关键研究空白，如基于预测的学习、竞争比分析和组织架构设计等方面的缺失，并提出了未来研究方向，以推动在动态环境中更具鲁棒性、隐私保护性和自适应性的分布式决策机制。

ABSTRACT

Distributed online optimization and game have been increasingly researched in the last decade, mostly motivated by its wide applications in sensor networks, robotics (e.g., distributed target tracking and formation control), smart grids, deep learning, and so forth. In these problems, there is a network of agents who may be cooperative (i.e., distributed online optimization) or noncooperative (i.e., online game) through local information exchanges. And the local cost function of each agent is often time-varying in dynamic and even adversarial environments. At each time, a decision must be made by each agent based on historical information at hand without knowing future information on cost functions. For these problems, a comprehensive survey is still lacking. This paper aims to provide a thorough overview of distributed online optimization and game from the perspective of problem settings, communication, computation, algorithms, and performances. In addition, some potential future directions are also discussed.

研究动机与目标

• 为动态、时变环境中的分布式在线优化与在线博弈提供系统性综述。
• 识别并分析多智能体系统中通信（如延迟、量化）、计算（如异步更新）以及隐私与安全方面的关键挑战。
• 考察 regret 和竞争比等性能度量，突出预测性学习和组织架构等尚未充分探索的领域。
• 对 DOO 和 OG 领域超过 100 篇近期研究进行结构化整合，涵盖五大核心维度：问题设定、通信、计算、算法与性能。
• 通过识别开放问题，如预测集成、竞争比分析与组织建模，激发未来研究。

提出的方法

• 通过五大核心维度——问题设定、通信、计算、算法与性能度量——对 100 余篇 DOO 和 OG 领域的近期研究进行分类与综述。
• 在各种约束条件下分析算法，包括异步更新、通信延迟、信息量化以及隐私保护机制。
• 采用 regret 和竞争比等性能指标进行评估，重点关注时变代价函数下的静态与动态 regret。
• 引入并讨论切换成本（如 Bregman 散度）在平衡在线优化中决策稳定性与性能方面的作用。
• 提出 DOO 与 OG 的统一框架，其中智能体基于本地信息与历史数据进行决策，且无法访问未来代价函数。
• 强调投影无关与 bandit 反馈算法在降低大规模分布式系统计算开销方面的作用。

实验结果

研究问题

• RQ1 在具有时变代价函数的动态与对抗性环境中，如何有效建模分布式在线优化与博弈？
• RQ2 多智能体在线学习系统中，通信（如延迟、量化）与计算（如异步性、隐私）的关键挑战是什么？
• RQ3 在分布式在线优化与博弈中，regret 与竞争比等性能度量如何比较与关联？
• RQ4 未来预测（如梯度或代价函数预测）在提升 DOO 与 OG 算法性能方面可能发挥何种作用？
• RQ5 如何将多智能体组织结构（如团队、联盟）正式整合到 DOO 与 OG 中，以提升适应性与性能？

主要发现

• 尽管在集中式在线学习中预测性学习已被证明具有显著优势，但在 DOO 与 OG 领域，相关研究仍存在显著空白。
• 竞争比与自适应 regret 等指标在集中式在线学习中常见，但在分布式设置中仍研究不足，提示亟需新的理论框架。
• 尽管在平衡决策稳定性与性能方面至关重要，Bregman 散度等切换成本项在 DOO 与 OG 中仍被低估与未充分应用。
• 现有针对具有时变约束的在线博弈研究有限，表明需加强对个体 regret 度量及其相互作用的进一步研究。
• 多智能体系统中的组织架构设计（如基于团队或联盟的结构）尚未被正式整合到 DOO 与 OG 中，代表了一个新颖的未来研究方向。
• 本综述指出，隐私保护、安全及量化通信机制虽为活跃研究领域，但在实时与对抗性环境中仍发展不足。