[论文解读] Generalization Analysis for Game-Theoretic Machine Learning

Haifang Li, Fei Tian+3 more|arXiv (Cornell University)|Oct 9, 2014

Advanced Bandit Algorithms Research参考文献 11被引用 3

一句话总结

本文首次对博弈论机器学习（GTML）进行了泛化分析，GTML是一种通过将自利代理的行为建模为马尔可夫过程，在动态系统中优化机制的框架。该文将泛化误差分解为行为学习误差与机制学习误差，并利用马尔可夫链稳定性与一种新颖的嵌套覆盖数概念，推导出非渐近界，针对带有保留价的GSP拍卖建立了具体的误差界。

ABSTRACT

For Internet applications like sponsored search, cautions need to be taken when using machine learning to optimize their mechanisms (e.g., auction) since self-interested agents in these applications may change their behaviors (and thus the data distribution) in response to the mechanisms. To tackle this problem, a framework called game-theoretic machine learning (GTML) was recently proposed, which first learns a Markov behavior model to characterize agents' behaviors, and then learns the optimal mechanism by simulating agents' behavior changes in response to the mechanism. While GTML has demonstrated practical success, its generalization analysis is challenging because the behavior data are non-i.i.d. and dependent on the mechanism. To address this challenge, first, we decompose the generalization error for GTML into the behavior learning error and the mechanism learning error; second, for the behavior learning error, we obtain novel non-asymptotic error bounds for both parametric and non-parametric behavior learning methods; third, for the mechanism learning error, we derive a uniform convergence bound based on a new concept called nested covering number of the mechanism space and the generalization analysis techniques developed for mixing sequences. To the best of our knowledge, this is the first work on the generalization analysis of GTML, and we believe it has general implications to the theoretical analysis of other complicated machine learning problems.

研究动机与目标

• 为解决GTML中行为数据非独立同分布且依赖于机制时缺乏泛化理论的问题。
• 通过将泛化误差正式分解为行为学习与机制学习两部分，对GTML中的泛化误差进行形式化分析。
• 开发新的理论工具——特别是嵌套覆盖数——以处理机制学习中的依赖数据。
• 为现实世界应用（如竞价搜索）中的GTML提供首个非渐近泛化误差界。

提出的方法

• 利用马尔可夫链平稳分布的稳定性，将GTML的泛化误差分解为行为学习误差与机制学习误差。
• 应用马尔可夫链的霍夫丁不等式，推导出参数化与非参数化行为学习方法的非渐近界。
• 提出嵌套覆盖数的概念，用于衡量在依赖数据条件下机制空间的复杂度。
• 使用混合序列的统一收敛技术，对机制学习误差进行有界处理。
• 通过结合行为学习与机制学习误差的界，建立总误差界，明确体现样本数量与函数类复杂度的依赖关系。
• 将该框架应用于带有保留价的GSP拍卖，利用保留价函数类的伪维数，推导出具体的泛化误差界。

实验结果

研究问题

• RQ1 当行为数据非独立同分布且依赖于机制时，如何在GTML中正式分解泛化误差？
• RQ2 在GTML中，基于马尔可夫假设，行为学习的非渐近误差界可如何建立？
• RQ3 在存在依赖数据的情况下，如何衡量机制空间的复杂度，以支持泛化分析？
• RQ4 在带有保留价的GSP拍卖背景下，GTML的泛化误差界是什么？
• RQ5 所提出的理论框架能否应用于涉及策略性代理的真实世界动态系统？

主要发现

• 本文利用马尔可夫链的霍夫丁型不等式，为行为学习建立了非渐近泛化误差界，适用于参数化与非参数化模型。
• 提出新颖的嵌套覆盖数概念，用于分析在依赖数据条件下机制空间的复杂度，从而实现统一收敛界。
• 对于带有保留价的GSP拍卖，利用保留价函数类的伪维数，对第二层覆盖数进行了有界处理。
• 为GSP拍卖中的GTML推导出总泛化误差界，表明行为样本数量增加时误差呈指数衰减，机制样本数量增加时误差呈次指数衰减。
• 该界的形式为 $ O(e^{-T_1}) + O\big(\text{covering terms} \times e^{-T_2^{s/(1+s)}}\big) $，表明在适当样本规模下具有强收敛性。
• 该结果为竞价搜索中的GTML提供了首个正式的泛化保证，验证了其在动态、策略性环境中的理论鲁棒性。