[论文解读] Mean-Field Learning: a Survey

Hamidou Tembiné, Raúl Tempone+1 more|arXiv (Cornell University)|Oct 17, 2012

Advanced Bandit Algorithms Research参考文献 33被引用 6

一句话总结

本文提出均场学习作为一种可扩展的框架，适用于具有连续动作空间的大规模群体博弈，利用依赖于个体动作和均场状态的聚合收益。提出基于模型和无模型的学习方案——部分分布式、完全分布式和无反馈——通过Ishikawa和Steffensen型加速技术实现加速收敛，达到超线性收敛速度，并在10次迭代内实现误差低于10⁻¹⁴。

ABSTRACT

In this paper we study iterative procedures for stationary equilibria in games with large number of players. Most of learning algorithms for games with continuous action spaces are limited to strict contraction best reply maps in which the Banach-Picard iteration converges with geometrical convergence rate. When the best reply map is not a contraction, Ishikawa-based learning is proposed. The algorithm is shown to behave well for Lipschitz continuous and pseudo-contractive maps. However, the convergence rate is still unsatisfactory. Several acceleration techniques are presented. We explain how cognitive users can improve the convergence rate based only on few number of measurements. The methodology provides nice properties in mean field games where the payoff function depends only on own-action and the mean of the mean-field (first moment mean-field games). A learning framework that exploits the structure of such games, called, mean-field learning, is proposed. The proposed mean-field learning framework is suitable not only for games but also for non-convex global optimization problems. Then, we introduce mean-field learning without feedback and examine the convergence to equilibria in beauty contest games, which have interesting applications in financial markets. Finally, we provide a fully distributed mean-field learning and its speedup versions for satisfactory solution in wireless networks. We illustrate the convergence rate improvement with numerical examples.

研究动机与目标

• 解决大规模博弈中连续动作空间和复杂信息结构下缺乏可扩展学习算法的问题。
• 通过利用聚合博弈中的均场结构，降低均衡计算中的计算和信息复杂度。
• 开发仅需最少收益函数知识或实时反馈的完全分布式和无反馈学习方案。
• 通过反向Ishikawa和Steffensen迭代等加速技术提升收敛速度。
• 将均场学习扩展至非凸全局优化，并应用于无线网络和金融市场。

提出的方法

• 提出一种均场学习框架，其中每个参与者基于其他参与者动作的均值进行更新，将高维最优响应系统简化为单一方程。
• 实施部分分布式学习，参与者在每个时间步观测均场，并通过最优响应或Boltzmann-Gibbs策略进行响应。
• 引入完全分布式均场学习，仅依赖噪声收益测量，实现无导数和无模型的策略学习（CODIPAS框架）。
• 应用加速技术，如λ > 1的反向Ishikawa迭代和Steffensen型方法，以实现超线性收敛。
• 设计无反馈均场学习，参与者通过分层推理和假设在线估计初始均场并离线更新。
• 通过数值实验验证各种学习方案和加速方法下的收敛速率与误差界。

实验结果

研究问题

• RQ1 均场学习是否能显著降低具有连续动作和不完全信息的大规模博弈中的复杂度？
• RQ2 如何通过迭代反馈和加速技术加速非压缩最优响应映射的收敛？
• RQ3 当仅有噪声收益测量时，完全分布式均场学习的性能如何？
• RQ4 无反馈均场学习是否可行，其对均衡一致性和收敛性有何影响？
• RQ5 如何将均场学习扩展至依赖均场的高阶矩或完整分布？

主要发现

• 反向Ishikawa加速技术在λ = 5/3时，26次迭代内误差降至1.3941 × 10⁻⁸，表现出超线性收敛。
• Steffensen型加速技术仅用6次迭代便将误差降至7 × 10⁻¹⁵，数值间隙为7.105 × 10⁻¹⁵。
• Banach-Picard均场学习在50次迭代后收敛至17.999999962360114的满意解，误差估计为1.2547 × 10⁻⁸。
• 加速均场学习的收敛时间量级为O(log(log(1/η)))，表明在高精度需求下收敛极快。
• 即使在存在噪声和非线性观测的情况下，完全分布式均场学习仍有效，前提是观测函数可逆或为二值。
• 通过离线估计和猜想推理，无反馈均场学习是可能的，但一致性保障和初始点估计仍是开放挑战。