[论文解读] Learning Registered Point Processes from Idiosyncratic Observations

Hongteng Xu, Lawrence Carin+1 more|arXiv (Cornell University)|Oct 3, 2017

Point processes and geometric inequalities参考文献 29被引用 3

一句话总结

本文提出一种新颖的交替优化方法，通过联合估计共享参数点过程模型和样本特定的时序扭曲函数，从个体化事件序列中学习注册点过程。通过迭代地使用估计的扭曲函数对序列进行去扭曲，并利用最大似然法重新估计模型，该方法实现了更高的模型稳定性、更低的偏差以及更强的可解释性，在合成数据和真实世界数据（包括MIMIC-III和LinkedIn求职跳槽数据）上均优于当前最先进方法。

ABSTRACT

A parametric point process model is developed, with modeling based on the assumption that sequential observations often share latent phenomena, while also possessing idiosyncratic effects. An alternating optimization method is proposed to learn a "registered" point process that accounts for shared structure, as well as "warping" functions that characterize idiosyncratic aspects of each observed sequence. Under reasonable constraints, in each iteration we update the sample-specific warping functions by solving a set of constrained nonlinear programming problems in parallel, and update the model by maximum likelihood estimation. The justifiability, complexity and robustness of the proposed method are investigated in detail, and the influence of sequence stitching on the learning results is examined empirically. Experiments on both synthetic and real-world data demonstrate that the method yields explainable point process models, achieving encouraging results compared to state-of-the-art methods.

研究动机与目标

• 解决由于个体特异性因素导致的事件序列存在个体差异时，学习共享点过程模型的挑战。
• 在序列事件数据中，将潜在的共享时间动态与个体特异性扭曲效应分离。
• 开发一种稳健且可扩展的方法，联合估计注册点过程和样本特定的扭曲函数。
• 通过约束优化最小化过度注册和注册不足，提升模型泛化能力和可解释性。
• 通过实证验证，序列拼接作为一种数据增强策略在提升学习性能方面的有效性。

提出的方法

• 该方法采用交替优化：在每次迭代中，首先使用估计的逆扭曲函数对观测序列进行去扭曲，然后通过最大似然估计学习注册点过程。
• 扭曲函数建模为具有关键点的分段线性函数，其参数通过并行求解约束非线性规划问题来更新。
• 优化过程中引入正则化项，以强制实现无偏性和平滑性，从而减少过拟合和偏差。
• 通过随机拼接扭曲后的序列，应用拼接策略生成合成训练序列，以增强数据多样性并提升模型鲁棒性。
• 模型采用由 θ 参数化的类似指数的强度函数，其中事件发生率依赖于历史事件和共享参数。
• 该方法通过收敛性、复杂度和鲁棒性的理论分析加以证明，并在合成数据和真实世界数据集上进行了实证验证。

实验结果

研究问题

• RQ1 联合学习框架能否有效分离事件序列中共享的时间动态与个体特异性扭曲效应？
• RQ2 所提出的交替优化方法在模型准确性、稳定性与可解释性方面相较于现有方法表现如何？
• RQ3 序列拼接对注册点过程学习性能有何影响？
• RQ4 该方法对超参数（如正则化权重 γ 和关键点数量 L）的敏感性如何？
• RQ5 所学习的扭曲函数在真实世界数据（如患者入院或求职跳槽行为）中是否能反映有意义且可解释的模式？

主要发现

• 与基线方法相比，所提出方法显著降低了注册不足和过度注册的风险，表明其在扭曲函数估计方面具有更高的稳定性和多样性。
• 该方法在合成数据和真实世界数据上均提升了模型性能，其感染力矩阵揭示了比当前最先进基线更丰富、更真实的事件间依赖关系。
• 序列拼接的使用增强了模型鲁棒性并改善了学习效果，尤其在训练过程中仅应用一次时效果更显著。
• 该方法对关键超参数具有鲁棒性：在 γ（从 10⁻³ 到 10）和 L（从 5 到 100）的广泛范围内，估计误差保持稳定，最优性能出现在 L=20 时。
• 所学习的扭曲函数展现出有意义的模式：主导样本（如年长患者、年轻员工）表现出更小的偏差，证实了该方法能够捕捉现实中的个体特异性特征。
• 该方法学习到的感染力矩阵揭示了非平凡的类别间关系——例如频繁在 Facebook 与 Google 之间跳槽，或在 Nvidia 与科技巨头之间流动——证实了模型的可解释性与现实相关性。