[论文解读] Finite-Time Last-Iterate Convergence for Multi-Agent Learning in Games

Tianyi Lin, Zhengyuan Zhou+2 more|arXiv (Cornell University)|Feb 23, 2020

Reinforcement Learning in Robotics参考文献 17被引用 6

一句话总结

本文在 $λ$-cocoercive 博弈这一广泛类别的多智能体博弈中，建立了在线梯度下降（OGD）的有限时间最后迭代收敛速率，该类博弈包括强单调博弈。论文提出了一种完全自适应的 OGD 算法，无需事先知晓 cocoercivity 常数 $λ$，即可实现与非自适应版本相同的收敛速率，采用了一种新颖的双重停止时间技术，并将结果扩展到非递减步长的噪声反馈情形。

ABSTRACT

In this paper, we consider multi-agent learning via online gradient descent in a class of games called $λ$-cocoercive games, a fairly broad class of games that admits many Nash equilibria and that properly includes unconstrained strongly monotone games. We characterize the finite-time last-iterate convergence rate for joint OGD learning on $λ$-cocoercive games; further, building on this result, we develop a fully adaptive OGD learning algorithm that does not require any knowledge of problem parameter (e.g. cocoercive constant $λ$) and show, via a novel double-stopping time technique, that this adaptive algorithm achieves same finite-time last-iterate convergence rate as non-adaptive counterpart. Subsequently, we extend OGD learning to the noisy gradient feedback case and establish last-iterate convergence results -- first qualitative almost sure convergence, then quantitative finite-time convergence rates -- all under non-decreasing step-sizes. To our knowledge, we provide the first set of results that fill in several gaps of the existing multi-agent online learning literature, where three aspects -- finite-time convergence rates, non-decreasing step-sizes, and fully adaptive algorithms have been unexplored before.

研究动机与目标

• 解决多智能体学习中，特别是在线梯度下降（OGD）的最后迭代收敛缺乏有限时间收敛速率保证的问题。
• 通过分析非递减步长和完全自适应算法下的最后迭代收敛，弥合文献中的关键空白。
• 为 $λ$-cocoercive 博弈中的 OGD 建立定量收敛速率，该类博弈推广了强单调博弈并允许多个纳什均衡。
• 将分析扩展到噪声梯度反馈，同时提供定性几乎必然收敛和定量有限时间速率。
• 设计一种完全自适应的 OGD 算法，使其在无需事先知晓 $λ$ 等问题参数的情况下，实现与非自适应版本相同的收敛速率。

提出的方法

• 将 $λ$-cocoercive 博弈定义为一类广泛存在的博弈，其正确包含了无约束强单调博弈，并允许多个纳什均衡。
• 分析 $λ$-cocoercive 博弈中的联合 OGD 学习，通过一种新颖的双重停止时间技术，推导出有限时间最后迭代收敛速率。
• 提出一种完全自适应的 OGD 算法，动态调整步长，而无需知晓 cocoercivity 常数 $λ$。
• 采用李雅普诺夫风格分析，对随时间变化的期望误差 $\|\mathbf{v}(\mathbf{x}_t)\|^2$ 进行有界，该误差衡量与均衡的距离。
• 通过控制停止时间对期望误差增长的控制，证明自适应算法可实现与非自适应版本相同的有限时间收敛速率。
• 将分析扩展到噪声反馈情形，通过在非递减步长下对期望误差进行有界，证明了几乎必然收敛和有限时间速率。

实验结果

研究问题

• RQ1 能否在 $λ$-cocoercive 博弈这一广泛类别的多智能体博弈中，为 OGD 建立有限时间最后迭代收敛速率？
• RQ2 能否设计一种完全自适应的 OGD 算法，使其在不事先知晓 $λ$ 的情况下，实现与非自适应版本相同的收敛速率？
• RQ3 在非递减步长下，OGD 在 $λ$-cocoercive 博弈中是否能实现最后迭代收敛，且在噪声梯度反馈下？
• RQ4 在噪声反馈和非递减步长下，OGD 在 $λ$-cocoercive 博弈中的定量有限时间收敛速率是多少？
• RQ5 双重停止时间技术能否用于在此设定下建立自适应 OGD 的有限时间收敛？

主要发现

• 本文在 $λ$-cocoercive 博弈中为联合 OGD 建立了有限时间最后迭代收敛速率，误差在适当条件下以 $O(\sqrt{\log T}/T)$ 速率衰减。
• 提出一种完全自适应的 OGD 算法，其在不依赖 cocoercivity 常数 $\lambda$ 的前提下，实现了与非自适应版本相同的有限时间收敛速率。
• 通过一种新颖的双重停止时间技术，证明了自适应算法的收敛性，该技术可控制期望误差随时间的增长。
• 对于噪声反馈，本文在非递减步长下同时建立了定性几乎必然收敛和定量有限时间收敛速率。
• 期望误差 $\mathbb{E}[\|\mathbf{v}(\mathbf{x}_t)\|^2]$ 被有界为 $C_1 + C_2\sqrt{\log(T+1)}$，其中 $C_1, C_2 > 0$ 为绝对常数，从而支持了有限时间速率分析。
• 分析表明 $\mathbb{E}[\epsilon(\mathbf{x}_T)] \leq \frac{\sum_{t=t_1^*}^T \mathbb{E}[\epsilon(\mathbf{x}_t)]}{T - t_1^* + 1} + \frac{C \log(T+1)}{\lambda(T - t_1^* + 1)} \sum_{t=0}^{T-1} \tau_t$，意味着期望误差的速率为 $O(\log T / T)$。