[论文解读] Distributionally Robust Games, Part I: f-Divergence and Learning.

Dario Bauso, Jian Gao+1 more|arXiv (Cornell University)|Feb 17, 2017

Risk and Portfolio Optimization参考文献 10被引用 1

一句话总结

本文通过使用 f-散度建模自然界的最坏情况分布，提出分布鲁棒博弈，利用三重性理论降低复杂度，并提出随机 Bregman 学习算法以计算鲁棒均衡。该方法在凸与非凸设置中得到验证，展现出更高的鲁棒性与计算效率。

ABSTRACT

In this paper we introduce the novel framework of distributionally robust games. These are multi-player games where each player models the state of nature using a worst-case distribution, also called adversarial distribution. Thus each player's payoff depends on the other players' decisions and on the decision of a virtual player (nature) who selects an adversarial distribution of scenarios. This paper provides three main contributions. Firstly, the distributionally robust game is formulated using the statistical notions of f-divergence between two distributions, here represented by the adversarial distribution, and the exact distribution. Secondly, the complexity of the problem is significantly reduced by means of triality theory. Thirdly, stochastic Bregman learning algorithms are proposed to speedup the computation of robust equilibria. Finally, the theoretical findings are illustrated in a convex setting and its limitations are tested with a non-convex non-concave function.

研究动机与目标

• 开发一种新颖的多玩家博弈框架，使玩家能够通过最坏情况分布来考虑分布不确定性。
• 形式化地使用 f-散度作为真实分布与对抗性分布之间差异的度量，建立鲁棒博弈模型。
• 通过将三重性理论应用于鲁棒优化问题，降低计算复杂度。
• 设计高效的随机 Bregman 学习算法，以计算鲁棒均衡。
• 在凸与非凸非凹设置下评估该框架，以评估其局限性与鲁棒性。

提出的方法

• 通过将自然建模为一个虚拟玩家，该玩家通过最小化 f-散度来选择对抗性分布，从而构建分布鲁棒博弈。
• 应用三重性理论，将鲁棒优化问题转化为更易处理的形式，从而降低计算复杂度。
• 提出一种随机 Bregman 学习算法，通过带有 Bregman 散度正则化的梯度式更新，迭代更新玩家策略。
• 利用 f-散度的对偶表示，将鲁棒收益表达为在分布模糊集上的最坏情况期望。
• 采用鞍点公式化方法，处理由对抗性分布选择引发的极小化-极大化结构。
• 在凸情况下采用凸松弛方法，并通过迭代学习动态将方法扩展至非凸设置。

实验结果

研究问题

• RQ1 如何将多玩家博弈扩展以在自然状态中考虑分布不确定性，从而应用鲁棒优化原则？
• RQ2 f-散度在鲁棒博弈论设置中，对建模对抗性分布的模糊集起到何种作用？
• RQ3 能否利用三重性理论降低求解分布鲁棒博弈的计算复杂度？
• RQ4 随机 Bregman 学习算法在凸与非凸设置中收敛至鲁棒均衡的表现如何？
• RQ5 当应用于非凸、非凹收益函数时，该框架存在哪些局限性？

主要发现

• 使用 f-散度能够以一种系统且灵活的方式，在博弈论模型中对自然状态的分布模糊性进行建模。
• 三重性理论显著降低了求解分布鲁棒博弈的计算复杂度，通过将非凸极小化-极大化问题转化为更易处理的形式。
• 在凸设置中，随机 Bregman 学习算法收敛至鲁棒均衡，展现出计算效率与稳定性。
• 在非凸、非凹设置中，所提算法仍能实现收敛，尽管收敛速度较慢，且对初始化具有一定敏感性。
• 该框架成功捕捉了在分布变化下的最坏情况行为，相比标准博弈论模型，显著提升了鲁棒性。
• 实验结果证实，鲁棒均衡对分布变化的敏感性更低，验证了其理论上的鲁棒性特征。