[论文解读] Convergence Analysis of Gradient-Based Learning with Non-Uniform Learning Rates in Non-Cooperative Multi-Agent Settings

Benjamin J. Chasnov, Lillian J. Ratliff+2 more|arXiv (Cornell University)|May 30, 2019

Mathematical Biology Tumor Growth参考文献 28被引用 5

一句话总结

本文为具有非均匀学习率的非合作多智能体博弈中基于梯度的学习提供了收敛性保证，证明在确定性和随机设置下均可实现有限时间收敛至稳定局部纳什均衡的邻域。研究表明，非均匀学习率的作用类似于预条件化，通过向量场失真改变收敛速度和吸引域。

ABSTRACT

Considering a class of gradient-based multi-agent learning algorithms in non-cooperative settings, we provide local convergence guarantees to a neighborhood of a stable local Nash equilibrium. In particular, we consider continuous games where agents learn in (i) deterministic settings with oracle access to their gradient and (ii) stochastic settings with an unbiased estimator of their gradient. Utilizing the minimum and maximum singular values of the game Jacobian, we provide finite-time convergence guarantees in the deterministic case. On the other hand, in the stochastic case, we provide concentration bounds guaranteeing that with high probability agents will converge to a neighborhood of a stable local Nash equilibrium in finite time. Different than other works in this vein, we also study the effects of non-uniform learning rates on the learning dynamics and convergence rates. We find that much like preconditioning in optimization, non-uniform learning rates cause a distortion in the vector field which can, in turn, change the rate of convergence and the shape of the region of attraction. The analysis is supported by numerical examples that illustrate different aspects of the theory. We conclude with discussion of the results and open questions.

研究动机与目标

• 建立非合作多智能体博弈中基于梯度的学习在非均匀学习率下的局部收敛性保证。
• 分析非均匀学习率对收敛动力学及吸引域形状的影响。
• 在具有oracle梯度访问的确定性设置下，提供有限时间收敛边界。
• 在具有无偏梯度估计器的随机设置下，推导收敛性的高概率浓度边界。
• 将学习动力学的理解从均匀学习率扩展至更广范围，揭示其与优化中预条件化效应的关联。

提出的方法

• 将多智能体学习建模为具有梯度博弈动态的n人连续博弈：$ x_i^+ = x_i - \gamma_i g_i(x_i, x_{-i}) $。
• 利用博弈雅可比矩阵的最小与最大奇异值来表征确定性设置下的收敛行为。
• 采用基于李雅普诺夫的分析与递归误差边界，推导在确定性梯度访问下的有限时间收敛保证。
• 应用鞅浓度不等式与随机李雅普诺夫分析，建立随机设置下的高概率收敛性。
• 引入向量场失真模型，解释非均匀学习率如何影响收敛速度与吸引盆地。
• 通过数值实例验证理论结果，包括带有耦合Riccati方程的LQ博弈及迭代反馈增益计算。

实验结果

研究问题

• RQ1 非均匀学习率如何影响非合作多智能体学习中的收敛速度与吸引域？
• RQ2 在具有非均匀学习率的确定性设置下，基于梯度的学习可建立何种有限时间收敛保证？
• RQ3 能否为具有非均匀学习率的随机梯度学习推导出高概率浓度边界？
• RQ4 非均匀学习率在多智能体学习动力学中在多大程度上起到类似预条件化的作用？
• RQ5 学习率异质性与智能体间的耦合如何影响学习的极限行为与成本累积？

主要发现

• 非均匀学习率在博弈动力学的向量场中引入失真，从而改变收敛速度与吸引域的形状。
• 在确定性设置下，本文通过博弈雅可比矩阵奇异值的边界，建立了对稳定局部纳什均衡邻域的有限时间收敛性。
• 在随机设置下，使用无偏梯度估计器时，该方法可高概率地在有限时间内收敛至稳定局部纳什均衡的邻域。
• 收敛速度受博弈雅可比矩阵奇异值的最小值与最大值之比的影响，表明其对博弈结构的敏感性。
• 数值结果（包括$ \gamma = 1.52 \times 10^{-5} $的LQ博弈）表明，非均匀学习率可稳定学习并改善收敛行为。
• 分析揭示，尽管智能体沿自身成本函数的梯度下降，仍可能收敛至自身成本函数的局部极大值，凸显耦合与学习率异质性的作用。