[论文解读] Event sequence metric learning.

Dmitrii Babaev, Ivan Kireev+4 more|arXiv (Cornell University)|Feb 19, 2020

Domain Adaptation and Few-Shot Learning参考文献 39被引用 8

一句话总结

本文提出一种自监督度量学习方法，通过从原始交易数据中生成的子序列，学习用户事件序列的紧凑且具有判别性的向量嵌入。该方法在下游分类任务中优于现有方法，同时通过低维表示增强了用户隐私保护。

ABSTRACT

In this paper we consider a challenging problem of learning discriminative vector representations for event sequences generated by real-world users. Vector representations map behavioral client raw data to the low-dimensional fixed-length vectors in the latent space. We propose a novel method of learning those vector embeddings based on metric learning approach. We propose a strategy of raw data subsequences generation to apply a metric learning approach in a fully self-supervised way. We evaluated the method over several public bank transactions datasets and showed that self-supervised embeddings outperform other methods when applied to downstream classification tasks. Moreover, embeddings are compact and provide additional user privacy protection.

研究动机与目标

• 解决在真实世界用户事件序列中学习判别性向量表示的挑战。
• 开发一种完全自监督的方法，以避免在训练嵌入时依赖标注数据。
• 通过低维、固定长度的向量表示，提升下游分类任务的性能。
• 通过生成不暴露原始行为数据的紧凑嵌入，增强用户隐私保护。
• 实现从原始交易日志中进行有效表示学习，而无需人工标注。

提出的方法

• 从用户事件序列中生成原始数据子序列，作为度量学习的训练样本。
• 应用度量学习框架，学习保留相似序列之间语义相似性的嵌入。
• 采用自监督策略，使模型从子序列的结构中学习，而无需外部标签。
• 优化嵌入空间，使语义上相似的事件序列在潜在向量空间中更接近。
• 在生成的子序列上使用对比损失或类似的度量学习目标，端到端训练模型。
• 确保最终嵌入为低维且固定长度，以支持高效下游使用。

实验结果

研究问题

• RQ1 自监督度量学习是否能有效在无标注数据的情况下学习用户事件序列的判别性表示？
• RQ2 与现有无监督或有监督基线相比，所学习的嵌入在下游分类任务中的表现如何？
• RQ3 嵌入在多大程度上在保持分类实用性的同时保护了隐私？
• RQ4 子序列生成策略如何影响所学表示的质量？
• RQ5 在真实交易数据中，嵌入紧凑性与性能之间存在何种权衡？

主要发现

• 所提出的自监督度量学习方法在下游分类任务中的表现优于现有无监督和有监督基线方法。
• 通过该方法学习到的嵌入具有紧凑性，支持高效存储与推理，同时保持了强大的判别能力。
• 即使在无标注数据可用的情况下，该方法仍保持强劲性能，证明了自监督子序列生成策略的有效性。
• 由于其低维和固定长度的特性，所学表示天然具备隐私保护能力。
• 在多个公开的银行交易数据集上的评估结果表明，该方法在不同真实场景中均表现出一致的性能提升。