[论文解读] Generalization Bounds for Stochastic Saddle Point Problems

Junyu Zhang, Mingyi Hong+2 more|arXiv (Cornell University)|Jun 3, 2020

Advanced Bandit Algorithms Research参考文献 40被引用 6

一句话总结

本文利用一致稳定性方法，为随机鞍点（SSP）问题中的经验鞍点（ESP）解建立了泛化边界，证明在利普希茨连续与强凸-强凹条件下，边界为 O(1/n)。该理论进一步扩展至非强凸及无界域情形，并在批量策略学习与纳什均衡估计中验证了结果，展现出接近最优的样本复杂度。

ABSTRACT

This paper studies the generalization bounds for the empirical saddle point (ESP) solution to stochastic saddle point (SSP) problems. For SSP with Lipschitz continuous and strongly convex-strongly concave objective functions, we establish an $\mathcal{O}(1/n)$ generalization bound by using a uniform stability argument. We also provide generalization bounds under a variety of assumptions, including the cases without strong convexity and without bounded domains. We illustrate our results in two examples: batch policy learning in Markov decision process, and mixed strategy Nash equilibrium estimation for stochastic games. In each of these examples, we show that a regularized ESP solution enjoys a near-optimal sample complexity. To the best of our knowledge, this is the first set of results on the generalization theory of ESP.

研究动机与目标

• 为随机鞍点（SSP）问题中的经验鞍点（ESP）解发展有限样本泛化理论。
• 在强凸-强凹及更宽松假设下，分析 ESP 解的泛化误差。
• 展示泛化边界在实际机器学习问题中的适用性，如马尔可夫决策过程（MDP）中的批量策略学习与混合策略纳什均衡估计。
• 为随机博弈与复合优化中的正则化 ESP 解建立样本复杂度保证。

提出的方法

• 使用一致稳定性论证，推导 SSP 问题中 ESP 解的泛化边界。
• 分析弱泛化与强泛化度量，以量化 ESP 解与真实 SSP 解之间的偏离程度。
• 应用集中不等式与矩界，控制随机样本下经验估计的方差。
• 利用目标函数的利普希茨连续性与强凸-强凹性质，推导 ESP 解期望损失的边界。
• 考虑正则化 ESP 公式，以确保在非强凸设定下的稳定性与样本效率。
• 通过两个案例研究验证理论边界：MDP 中的批量策略学习与随机博弈中混合策略纳什均衡的估计。

实验结果

研究问题

• RQ1 在随机鞍点问题中，经验鞍点解的有限样本泛化误差是多少？
• RQ2 在缺乏强凸性或有界域等宽松假设下，泛化边界如何表现？
• RQ3 泛化边界能否应用于批量策略学习等实际问题？
• RQ4 正则化 ESP 解在随机博弈中的样本复杂度是多少？
• RQ5 弱泛化与强泛化度量在捕捉 ESP 解质量方面有何差异？

主要发现

• 本文利用一致稳定性，在利普希茨连续与强凸-强凹条件下，为 ESP 解建立了 O(1/n) 的泛化边界。
• 泛化边界被扩展至无强凸性与无有界域的情形，显著拓宽了适用范围。
• 在 MDP 的批量策略学习中，正则化 ESP 解实现了接近最优的样本复杂度。
• 在随机矩阵博弈中，用于混合策略纳什均衡估计的正则化 ESP 解同样享有接近最优的样本复杂度。
• 通过案例研究验证了理论边界，表明其紧致性与在强化学习及博弈论中的实际相关性。
• 在 MDP 情形下，ESP 解的期望损失被界为 O(τ³/|S|)，其中 τ 为混合时间，|S| 为状态空间大小。