[论文解读] ATRank: An Attention-Based User Behavior Modeling Framework for Recommendation

Chang Zhou, Jinze Bai+5 more|arXiv (Cornell University)|Nov 17, 2017

Recommender Systems and Techniques参考文献 25被引用 104

一句话总结

ARank（ATRank）提出了一种基于注意力的框架，通过多个潜在语义空间和自注意力来建模异质化的用户行为，实现快速训练和统一的多任务预测。

ABSTRACT

A user can be represented as what he/she does along the history. A common way to deal with the user modeling problem is to manually extract all kinds of aggregated features over the heterogeneous behaviors, which may fail to fully represent the data itself due to limited human instinct. Recent works usually use RNN-based methods to give an overall embedding of a behavior sequence, which then could be exploited by the downstream applications. However, this can only preserve very limited information, or aggregated memories of a person. When a downstream application requires to facilitate the modeled user features, it may lose the integrity of the specific highly correlated behavior of the user, and introduce noises derived from unrelated behaviors. This paper proposes an attention based user behavior modeling framework called ATRank, which we mainly use for recommendation tasks. Heterogeneous user behaviors are considered in our model that we project all types of behaviors into multiple latent semantic spaces, where influence can be made among the behaviors via self-attention. Downstream applications then can use the user behavior vectors via vanilla attention. Experiments show that ATRank can achieve better performance and faster training process. We further explore ATRank to use one unified model to predict different types of user behaviors at the same time, showing a comparable performance with the highly optimized individual models.

研究动机与目标

• 推动比手工特征和单序列编码器更好的用户表征。
• 使用自注意力在多个潜在语义空间中建模异质的用户行为。
• 相比 RNN/CNN 编码器，实现快速训练和在线预测。
• 探索一个能够同时预测多种行为类型的统一模型。
• 在真实的 Amazon 与 Taobao 数据集上评估性能，并与基线进行比较。

提出的方法

• 按目标对象类型将用户行为划分为行为组。
• 在每个组内对原始特征进行嵌入并对时间进行分箱以进行时序编码。
• 通过简单的前馈投影将组嵌入投射到多个潜在语义空间。
• 在每个语义空间内应用自注意力以建模同一行为内的影响。
• 在各个语义空间的自注意力输出进行拼接，然后通过一个非线性变换器块。
• 使用常规注意力将用户行为表示与下游任务（点式或成对排序）连接起来。

实验结果

研究问题

• RQ1 是否可以通过投射到多个潜在语义空间并使用自注意力来捕捉行为之间的影响来有效建模异质用户行为？
• RQ2 一个预测多种行为类型的统一多任务模型是否能与专门化模型相比肩？
• RQ3 在推荐场景中，ATRank 是否比基于 RNN/CNN 的序列编码器训练更快、准确性更高？

主要发现

• ATRank 在 Amazon Electro 的 AUC 高于有竞争力的基线：0.8921 对比 0.8757（Bi-LSTM）和 0.8804（CNN+Pooling）。
• ATRank 在 Amazon Clothing 的 AUC 高于有竞争力的基线：0.7905 对比 0.7869（Bi-LSTM）和 0.7835（Bi-LSTM+Attention）。
• 在多行为 setting 下，ATRank-All2One 和 ATRank-All2All 模型在单一统一模型下表现与一对一基线相当或优越。
• 表 5 显示 all2one 和 all2all 配置下，ATRank 达到 0.8921（Electro）和 0.7905（Clothing），超过列出的基线（BPR、Bi-LSTM、Bi-LSTM+Attention、CNN+Pooling）。
• 由于注意力操作可并行，该模型的收敛速度比基于 RNN/CNN 的编码器更快，同时保持或提高预测性能。