[论文解读] Agent Behavior Prediction and Its Generalization Analysis

Fei Tian, Haifang Li+4 more|arXiv (Cornell University)|Apr 19, 2014

Complex Network Analysis Techniques参考文献 27被引用 8

一句话总结

本文提出了一种新颖的泛化分析框架，用于在动态系统中对代理行为预测（ABP）进行分析，采用随机环境中的马尔可夫链（MCRE）建模。通过将MCRE转化为高维平稳马尔可夫链，作者推导出一个依赖于马尔可夫参数和函数类覆盖数的泛化界，从而实现对战略代理产生的非独立同分布行为数据中学习算法的理论分析。

ABSTRACT

Machine learning algorithms have been applied to predict agent behaviors in real-world dynamic systems, such as advertiser behaviors in sponsored search and worker behaviors in crowdsourcing. The behavior data in these systems are generated by live agents: once the systems change due to the adoption of the prediction models learnt from the behavior data, agents will observe and respond to these changes by changing their own behaviors accordingly. As a result, the behavior data will evolve and will not be identically and independently distributed, posing great challenges to the theoretical analysis on the machine learning algorithms for behavior prediction. To tackle this challenge, in this paper, we propose to use Markov Chain in Random Environments (MCRE) to describe the behavior data, and perform generalization analysis of the machine learning algorithms on its basis. Since the one-step transition probability matrix of MCRE depends on both previous states and the random environment, conventional techniques for generalization analysis cannot be directly applied. To address this issue, we propose a novel technique that transforms the original MCRE into a higher-dimensional time-homogeneous Markov chain. The new Markov chain involves more variables but is more regular, and thus easier to deal with. We prove the convergence of the new Markov chain when time approaches infinity. Then we prove a generalization bound for the machine learning algorithms on the behavior data generated by the new Markov chain, which depends on both the Markovian parameters and the covering number of the function class compounded by the loss function for behavior prediction and the behavior prediction model. To the best of our knowledge, this is the first work that performs the generalization analysis on data generated by complex processes in real-world dynamic systems.

研究动机与目标

• 解决现实动态系统中因代理行为随系统反馈而演化而导致的非独立同分布行为数据挑战。
• 为具有策略性、自适应代理的系统中机器学习算法的泛化分析建立理论框架。
• 将代理行为数据建模为随机环境中的马尔可夫链（MCRE），以捕捉其对过去状态和系统反馈的依赖性。
• 为在MCRE生成的数据上应用经验风险最小化（ERM）算法建立泛化界。
• 实现对交互系统（如赞助搜索、众包和应用商店）中行为预测模型的理论验证。

提出的方法

• 通过将反馈和连续行为状态纳入状态空间，将原始MCRE转换为更高维的平稳马尔可夫链。
• 定义新的状态空间 $\mathbb{M} = \{(h_t, b_t, b_{t+1})\}$，使过程变为平稳且更易于分析。
• 在较弱条件下（包括 $N_0$-步转移矩阵的所有元素为正）证明变换后的马尔可夫链收敛到平稳分布。
• 基于复合函数类 $l \circ \mathcal{F}$ 的覆盖数和链的混合特性，推导出ERM算法的泛化界。
• 利用代数混合条件 ($\beta(z,m) \leq \beta_0 m^{-\gamma}$) 优化样本大小参数 $m$，以收紧边界。
• 通过将ABP视为具有多项式有界覆盖数的有限行为空间分类问题，将边界应用于多分类设定。

实验结果

研究问题

• RQ1 如何对因系统反馈而演化的代理行为数据训练的机器学习模型进行泛化分析？
• RQ2 何种数学框架可建模交互系统中策略性代理产生的非独立同分布行为数据？
• RQ3 能否将非平稳MCRE转换为时间平稳马尔可夫链，以支持标准泛化技术？
• RQ4 泛化误差界对马尔可夫参数和预测函数类复杂度的依赖关系如何？
• RQ5 如何利用数据过程中的混合条件来优化泛化界？

主要发现

• 作者成功地将非平稳MCRE转换为高维平稳马尔可夫链，从而实现了对学习算法的理论分析。
• 在 $N_0$-步转移矩阵所有元素为正的条件下，变换后的马尔可夫链收敛到平稳分布。
• 推导出的泛化界与损失复合函数类的覆盖数以及过程的混合速率成比例。
• 对于代数混合过程，最优 $m$ 为 $O(T^{1/(1+s)})$，其中 $0 < s < \gamma$，可最小化界对 $T$ 的依赖。
• 对于规则函数类（包括利普希茨连续损失和有限行为空间设定），该边界为多项式紧致。
• 本工作首次为复杂、反馈驱动的动态系统中由策略性代理生成的数据上的学习算法提供了泛化分析。