[论文解读] Interacting Attention-gated Recurrent Networks for Recommendation

Wenjie Pei, Jie Yang+4 more|arXiv (Cornell University)|Sep 5, 2017

Recommender Systems and Techniques参考文献 42被引用 11

一句话总结

该论文提出了一种新型推荐模型——交互注意力门控循环网络（IARN），通过交互注意力机制联合建模用户与物品的动态行为，以衡量历史交互的相关性。IARN在真实世界数据集上的评分预测任务中，平均优于最先进方法8.58%（RMSE），并通过对用户和物品历史记录的动态、可解释注意力机制，实现了更优的排序性能。

ABSTRACT

Capturing the temporal dynamics of user preferences over items is important for recommendation. Existing methods mainly assume that all time steps in user-item interaction history are equally relevant to recommendation, which however does not apply in real-world scenarios where user-item interactions can often happen accidentally. More importantly, they learn user and item dynamics separately, thus failing to capture their joint effects on user-item interactions. To better model user and item dynamics, we present the Interacting Attention-gated Recurrent Network (IARN) which adopts the attention model to measure the relevance of each time step. In particular, we propose a novel attention scheme to learn the attention scores of user and item history in an interacting way, thus to account for the dependencies between user and item dynamics in shaping user-item interactions. By doing so, IARN can selectively memorize different time steps of a user's history when predicting her preferences over different items. Our model can therefore provide meaningful interpretations for recommendation results, which could be further enhanced by auxiliary features. Extensive validation on real-world datasets shows that IARN consistently outperforms state-of-the-art methods.

研究动机与目标

• 为解决现有方法将用户-物品交互历史中的所有时间步视为同等重要的问题，即使某些交互是偶然发生的。
• 克服用户与物品动态分别学习的局限性，该方法无法捕捉其对用户偏好的联合影响。
• 实现可解释的、基于注意力机制的、对相关历史交互的选择，以支持个性化推荐。
• 有效整合辅助特征以提升推荐性能。
• 构建一个统一框架，通过联合用户-物品注意力机制建模时间动态，以提高推荐准确性。

提出的方法

• IARN采用门控循环网络（GRU或LSTM）来建模用户和物品的序列交互历史。
• 提出一种交互注意力机制，以联合优化的方式计算用户和物品历史的注意力分数，捕捉用户与物品动态之间的依赖关系。
• 注意力机制为用户和物品序列中的每个时间步分配动态权重，实现对相关历史交互的选择性记忆。
• 将辅助特征（如物品类别、用户人口统计信息）整合到注意力和门控机制中，以增强表征学习。
• 通过前馈网络组合经过注意力加权的用户和物品表征，生成最终预测结果。
• 采用均方误差（MSE）损失函数进行端到端训练，以最小化观测评分的预测误差。

实验结果

研究问题

• RQ1 与分别建模相比，一种联合建模用户与物品动态的注意力机制是否能提升推荐性能？
• RQ2 交互注意力机制是否能实现对历史交互更可解释且更有意义的选择？
• RQ3 辅助特征的集成如何影响所提模型的性能？
• RQ4 IARN是否能在评分预测和项目排序任务中均优于最先进方法？
• RQ5 IARN在多个真实世界数据集上的性能提升是否具有统计显著性？

主要发现

• 在六个真实世界数据集上，IARN在评分预测任务中的平均性能优于第二名方法8.58%（以RMSE衡量）。
• IARN的性能提升在所有数据集上均具有统计显著性，配对t检验的p值均小于0.01。
• IARN在所有基线方法中均表现出最优的项目排序性能，证明其在个性化排序任务中的有效性。
• 模型的注意力分数为理解哪些历史交互对特定推荐最为相关提供了可解释的洞察。
• 辅助特征的集成进一步提升了IARN的性能，证实了其在建模复杂用户-物品动态中的价值。
• IARN在评分预测和排序任务中均表现出优越性能，尽管排序任务的性能增益小于评分预测任务，原因在于模型的目标函数以最小化RMSE为优化目标。