[论文解读] A Stochastic Differential Equation Framework for Guiding Online User Activities in Closed Loop

Yichen Wang, Evangelos A. Theodorou+2 more|arXiv (Cornell University)|Mar 30, 2016

Advanced Bandit Algorithms Research参考文献 38被引用 8

一句话总结

本文提出了一种随机微分方程（SDE）框架，将基于点过程的用户活动模型重新表述为SDE，从而能够应用随机最优控制方法，实现在线用户活动的闭环引导。通过将广义伊tô引理和汉密尔顿-雅可比-贝尔曼方程等工具扩展至一般点过程，该方法实现了实时反馈控制，在具有节点生成的时间变动态网络的合成与真实世界网络中，总成本显著降低，预测精度显著高于最先进方法。

ABSTRACT

Recently, there is a surge of interest in using point processes to model continuous-time user activities. This framework has resulted in novel models and improved performance in diverse applications. However, most previous works focus on the "open loop" setting where learned models are used for predictive tasks. Typically, we are interested in the "closed loop" setting where a policy needs to be learned to incorporate user feedbacks and guide user activities to desirable states. Although point processes have good predictive performance, it is not clear how to use them for the challenging closed loop activity guiding task. In this paper, we propose a framework to reformulate point processes into stochastic differential equations, which allows us to extend methods from stochastic optimal control to address the activity guiding problem. We also design an efficient algorithm, and show that our method guides user activities to desired states more effectively than the state of the art.

研究动机与目标

• 为解决在实时反馈被整合的闭环设置中引导在线用户活动的挑战，超越开环预测模型。
• 弥合用户行为点过程模型与随机最优控制理论之间的鸿沟，实现动态策略学习。
• 开发点过程模型向SDE的一般性重表述，支持具有节点生成和复杂动态的时变网络。
• 将经典随机控制工具——如伊tô引理和HJB方程——扩展至由霍克斯、生存和节点生成过程等高级点过程驱动的SDE。
• 设计一种高效算法，以更快的收敛速度和更低的方差，引导用户活动动态向期望状态演化。

提出的方法

• 将基于点过程（如霍克斯、生存、节点生成过程）的用户活动模型重新表述为具有跳跃扩散的随机微分方程（SDE）。
• 为由一般点过程驱动的SDE引入广义伊tô引理和改进的汉密尔顿-雅可比-贝尔曼（HJB）方程，扩展经典随机控制理论。
• 设计反馈控制策略 u(x(t), t)，将当前用户状态 x(t) 映射到每个时间 t 的动作，实现实时自适应。
• 使用值函数近似以及有限差分或交叉熵方法，对HJB方程进行数值求解，以实现策略优化。
• 设计一种策略学习算法，可处理具有动态节点和链路创建的时变网络，确保可扩展性与鲁棒性。

实验结果

研究问题

• RQ1 能否系统性地将在线用户活动的点过程模型重表述为随机微分方程，以实现闭环控制？
• RQ2 如何将随机最优控制理论扩展至处理由复杂点过程（如霍克斯、生存和节点生成过程）驱动的SDE？
• RQ3 与固定或开环策略相比，使用时变反馈策略在引导用户活动向目标状态演化时，性能提升如何？
• RQ4 该框架在具有高频节点生成和动态拓扑演化的动态网络中的表现如何？
• RQ5 在保留的真实世界轨迹上评估时，该方法在最优控制策略预测精度方面提升了多少？

主要发现

• 在时变Memetracker网络的LSOG任务中，我们的方法总成本比CrossEntropy低约6倍，证明了更优的控制性能。
• 在Twitter网络的OIM任务中，我们的方法总成本比CrossEntropy降低约3倍，该网络表现出高频率的节点生成和更强的随机性。
• 在最优轨迹排序的预测精度方面，我们的方法在Memetracker和Twitter数据集上均比CrossEntropy提升超过0.4，表明与真实最优策略的对齐性显著增强。
• 即使在预算约束下，该方法仍保持强性能，随着成本权衡参数 ρ 增大，预测精度下降速度慢于基线方法。
• 我们的框架在引导用户意见动态向期望状态演化方面表现出鲁棒性与更快收敛速度，尤其在具有动态链路创建和节点生成的网络中。