[论文解读] Distributionally Robust Games: f-Divergence and Learning

Dario Bauso, Jian Gao+1 more|arXiv (Cornell University)|Feb 17, 2017

Agricultural risk and resilience被引用 4

一句话总结

本文通过f-散度建模分布不确定性，提出分布鲁棒博弈框架，实现对抗性分布偏移下的鲁棒均衡。提出基于三重性的维数缩减与随机Bregman学习算法，实现双指数收敛速度，显著优于梯度动力学在收敛速度与鲁棒性方面的表现——即使在具有多模态目标函数的非凸设置下亦然。

ABSTRACT

In this paper we introduce the novel framework of distributionally robust games. These are multi-player games where each player models the state of nature using a worst-case distribution, also called adversarial distribution. Thus each player's payoff depends on the other players' decisions and on the decision of a virtual player (nature) who selects an adversarial distribution of scenarios. This paper provides three main contributions. Firstly, the distributionally robust game is formulated using the statistical notions of $f$-divergence between two distributions, here represented by the adversarial distribution, and the exact distribution. Secondly, the complexity of the problem is significantly reduced by means of triality theory. Thirdly, stochastic Bregman learning algorithms are proposed to speedup the computation of robust equilibria. Finally, the theoretical findings are illustrated in a convex setting and its limitations are tested with a non-convex non-concave function.

研究动机与目标

• 通过在分布之间引入f-散度来建模不确定性，提出一种新框架，以克服贝叶斯与分布无关博弈模型的局限性。
• 利用三重性理论克服鲁棒博弈问题中的维数灾难，实现鲁棒均衡的高效计算。
• 提出一种基于Bregman的算法，加速收敛至鲁棒均衡，且无需强凸性假设。
• 在凸与非凸设置下（包括多模态收益函数）验证该方法的有效性。
• 通过混合策略凸化方法将框架扩展至有限动作空间，并证明鲁棒混合均衡的存在性。

提出的方法

• 利用f-散度定义围绕真实分布的散度球，形式化分布鲁棒博弈，以建模最坏情况下的对抗性分布。
• 应用三重性理论，将无穷维的极大极小问题转化为有限维对偶问题，降低计算复杂度。
• 提出基于Bregman散度的Bregman动力学，以加速收敛，并理论证明其具有双指数衰减特性。
• 在高维与非凸设置下，使用粒子群近似实现随机Bregman学习，以逼近鲁棒均衡。
• 利用f-散度生成器的Legendre-Fenchel共轭（如指数族的log-sum-exp）推导对偶形式。
• 将Bregman流应用于单智能体与多智能体设置，确保收敛至分布鲁棒均衡。

实验结果

研究问题

• RQ1 如何通过f-散度正式定义分布鲁棒博弈，以在多智能体系统中建模分布不确定性？
• RQ2 能否利用三重性理论降低分布鲁棒博弈问题的维数，并确保均衡的存在性？
• RQ3 在凸与非凸博弈中，基于Bregman的学习方法相较于标准梯度动力学在收敛速度与鲁棒性方面表现如何？
• RQ4 在具有多个局部极值的非凸、多模态收益函数中，随机Bregman学习的性能如何？
• RQ5 能否通过混合策略凸化将该框架扩展至有限动作空间？在何种条件下可保证鲁棒均衡的存在性？

主要发现

• 在1000个样本的凸情况下，随机Bregman学习算法的收敛时间约为经典梯度动力学的1/20。
• 理论证明Bregman动力学具有双指数衰减特性，表明其能快速收敛至分布鲁棒均衡。
• 在非凸设置下，目标函数为多模态时，Bregman算法成功收敛至鲁棒纳什均衡点(7.9, 7.9)，均衡性能约为7.88。
• 即使在扰动下，算法仍表现出鲁棒性，如在不同初始化下从鲁棒均衡点(7.9, 7.9)过渡至局部最大值点(7.9, 5.1)。
• 在适当条件下，证明了分布鲁棒均衡的存在性，包括通过混合策略凸化实现的有限动作空间。
• 该方法无需强凸性假设，与经典梯度方法形成对比，因而具备更广泛的应用潜力。