[论文解读] Meta Learning with Relational Information for Short Sequences

Yujia Xie, Haoming Jiang+3 more|arXiv (Cornell University)|Sep 4, 2019

Point processes and geometric inequalities被引用 10

一句话总结

该论文提出 HARMLESS，一种元学习框架，通过分层贝叶斯混合点过程建模短事件序列，整合关系网络信息以实现自适应、社区感知的学习。在合成数据和真实世界数据上预测未来事件时，其表现优于基线模型，对数似然值提升具有统计显著性（p = 1.3×10⁻⁵）。

ABSTRACT

This paper proposes a new meta-learning method -- named HARMLESS (HAwkes Relational Meta LEarning method for Short Sequences) for learning heterogeneous point process models from short event sequence data along with a relational network. Specifically, we propose a hierarchical Bayesian mixture Hawkes process model, which naturally incorporates the relational information among sequences into point process modeling. Compared with existing methods, our model can capture the underlying mixed-community patterns of the relational network, which simultaneously encourages knowledge sharing among sequences and facilitates adaptive learning for each individual sequence. We further propose an efficient stochastic variational meta expectation maximization algorithm that can scale to large problems. Numerical experiments on both synthetic and real data show that HARMLESS outperforms existing methods in terms of predicting the future events.

研究动机与目标

• 解决传统方法在单个序列数据不足时失效的问题，针对短时、噪声大且异质的事件序列建模挑战。
• 整合关系网络信息（如社交图）以捕捉群体层面的模式，提升跨序列的泛化能力。
• 通过将每个序列建模为具有个体特定参数的点过程混合体，并采用模型无关适应策略，实现短序列的元学习。
• 设计一种可扩展的推理算法，避免对点过程先验施加强参数假设，从而增强在真实世界应用中的灵活性。
• 通过统一的概率框架联合建模序列异质性与关系结构，提升对未来事件发生时间的预测性能。

提出的方法

• 提出一种分层贝叶斯混合点过程模型，其中每个序列被建模为多个点过程的组合，每个点过程对应一个潜在身份或社区。
• 通过节点嵌入和社区结构，将关系网络信息（如社交图边）整合到点过程的混合权重中。
• 采用模型无关元学习（MAML风格）适应策略，基于共享通用模型更新序列特定参数，实现在少量事件下的快速适应。
• 设计一种基于随机变分元期望最大化（meta-EM）的算法，交替进行潜在身份推断与模型参数更新，实现对大规模数据集的高效扩展。
• 将推理过程分解为两个阶段：首先，利用混合成员关系随机块模型（MMSB）在关系图上推断社区归属；其次，通过元适应学习序列特定的点过程参数。
• 通过使用从共享初始化中自适应更新的元学习更新规则，避免对点过程先验施加强参数假设，从而提升灵活性与泛化能力。

实验结果

研究问题

• RQ1 能否有效利用关系网络信息来改善对短时、异质事件序列的建模？
• RQ2 如何将元学习适配到传统任务划分不可行的无监督序列事件数据中？
• RQ3 将序列建模为具有个体特定成分的点过程混合体，相较于单一模型或共享模型基线，能在多大程度上提升预测性能？
• RQ4 当应用于短序列建模时，不同元学习算法（如 MAML、FOMAML、Reptile）在性能与稳定性方面有何差异？
• RQ5 关系结构、社区异质性与身份建模对框架整体预测性能的贡献分别是什么？

主要发现

• 在 LinkedIn 数据集上，HARMLESS 的对数似然值达到 1.4070 ± 0.0105，显著优于最佳基线模型（MLE-Com），p 值为 1.3×10⁻⁵。
• 消融实验表明，所有组件——MAML 类适应、关系图信息与多身份建模——均对性能有贡献，任一组件移除均导致对数似然值下降超过 0.4 分。
• 若移除内部异质性（即视同一社区内所有序列完全相同），性能下降至 0.9405 ± 0.0032，表明个体序列差异至关重要。
• 若移除图结构，性能下降至 0.9507 ± 0.0032（MAML 变体），表明关系信息对准确建模至关重要。
• HARMLESS 的 FOMAML 变体实现 1.0129 ± 0.0042 的对数似然值，优于 Reptile（0.9540 ± 0.0082），表明在此场景下完整 MAML 更新规则更具有效性。
• 该方法成功捕捉了真实世界网络中的非传统社区模式——如基于活跃度的聚类——其中高阶节点（活跃用户）自然聚集，提升了模型的可解释性与性能。