[论文解读] Multi-Agent Online Optimization with Delays: Asynchronicity, Adaptivity, and Optimism

Yu-Guan Hsieh, Franck Iutzeler+2 more|arXiv (Cornell University)|Dec 21, 2020

Advanced Bandit Algorithms Research参考文献 71被引用 10

一句话总结

本文提出了一种在存在延迟和异步性情况下的多智能体在线优化的去中心化、自适应双平均算法。通过利用依赖图并基于累积反馈的自适应学习率，即使在无全局协调或共享时钟的情况下，也能实现最优的 O(√(τNM_max)) 冗余边界。

ABSTRACT

In this paper, we provide a general framework for studying multi-agent online learning problems in the presence of delays and asynchronicities. Specifically, we propose and analyze a class of adaptive dual averaging schemes in which agents only need to accumulate gradient feedback received from the whole system, without requiring any between-agent coordination. In the single-agent case, the adaptivity of the proposed method allows us to extend a range of existing results to problems with potentially unbounded delays between playing an action and receiving the corresponding feedback. In the multi-agent case, the situation is significantly more complicated because agents may not have access to a global clock to use as a reference point; to overcome this, we focus on the information that is available for producing each prediction rather than the actual delay associated with each feedback. This allows us to derive adaptive learning strategies with optimal regret bounds, even in a fully decentralized, asynchronous environment. Finally, we also analyze an "optimistic" variant of the proposed algorithm which is capable of exploiting the predictability of problems with a slower variation and leads to improved regret bounds.

研究动机与目标

• 解决具有延迟和异步反馈的多智能体系统中的在线学习问题。
• 设计一种无需全局协调或共享时钟的去中心化算法。
• 实现依赖于数据和延迟特性的最优冗余边界。
• 将原本用于单智能体场景的自适应学习方法扩展至完全异步的多智能体环境。
• 分析一种乐观变体，以在缓慢变化的环境中改善冗余边界。

提出的方法

• 引入依赖图，即有向无环图（DAG），以建模智能体间反馈的接收与使用。
• 采用基于接收反馈元素数量的自适应学习率，受倒根和规则的启发。
• 在镜像下降框架下应用双平均方法，以处理非光滑且时变的损失函数。
• 使用反馈索引的忠实排列来管理非单调的学习率更新。
• 通过镜像映射的非扩张性以及各智能体间梯度偏差的有界性，推导出冗余边界。
• 提出一种乐观变体，通过利用环境的可预测性和缓慢变化来改善冗余边界。

实验结果

研究问题

• RQ1 能否在无全局时钟且存在任意延迟的多智能体系统中实现自适应、去中心化的在线学习？
• RQ2 在具有无界延迟的异步、去中心化多智能体在线优化中，可实现怎样的冗余边界？
• RQ3 如何设计既自适应又可在去中心化环境中实现的学习率？
• RQ4 在异步环境下，乐观性是否能改善缓慢变化环境中的冗余性能？
• RQ5 反馈的非单调性以及异构更新频率对冗余有何影响？

主要发现

• 所提出的去中心化延迟双平均（D-DDA）算法实现了 O(√(τNM_max)) 的集体冗余边界，该边界在给定假设下为最优。
• 学习率 η_i,t = R/(G√((5τ+3)(card(S_i,t) + (τ+1)M_max)M_max)) 可由每个智能体仅通过本地反馈计数实现。
• 即使反馈到达是非单调的，且智能体无法访问全局时间参考，该方法仍保持有效性。
• 该算法的乐观变体通过利用环境的缓慢变化，改善了冗余边界。
• 分析表明，即使在无界延迟下，该算法仍能保持最优冗余边界，将先前的单智能体结果扩展至多智能体、异步设置。
• 依赖图框架使得对去中心化系统中反馈时机和学习率自适应性的严格分析成为可能。