[论文解读] A Sequential Embedding Approach for Item Recommendation with Heterogeneous Attributes

Kuan Liu, Xing Shi+1 more|arXiv (Cornell University)|May 28, 2018

Recommender Systems and Techniques参考文献 7被引用 5

一句话总结

本文提出 HA-RNN，一种新颖的序列嵌入模型，通过分层属性组合与共享输出嵌入，将异质属性与项目序列整合到推荐系统中，以解决属性稀疏性和可变长度的问题。该模型通过利用序列依赖关系和属性丰富性，在大规模数据集上显著优于最先进方法。

ABSTRACT

Attributes, such as metadata and profile, carry useful information which in principle can help improve accuracy in recommender systems. However, existing approaches have difficulty in fully leveraging attribute information due to practical challenges such as heterogeneity and sparseness. These approaches also fail to combine recurrent neural networks which have recently shown effectiveness in item recommendations in applications such as video and music browsing. To overcome the challenges and to harvest the advantages of sequence models, we present a novel approach, Heterogeneous Attribute Recurrent Neural Networks (HA-RNN), which incorporates heterogeneous attributes and captures sequential dependencies in extit{both} items and attributes. HA-RNN extends recurrent neural networks with 1) a hierarchical attribute combination input layer and 2) an output attribute embedding layer. We conduct extensive experiments on two large-scale datasets. The new approach show significant improvements over the state-of-the-art models. Our ablation experiments demonstrate the effectiveness of the two components to address heterogeneous attribute challenges including variable lengths and attribute sparseness. We further investigate why sequence modeling works well by conducting exploratory studies and show sequence models are more effective when data scale increases.

研究动机与目标

• 解决推荐系统中异质、稀疏且可变长度属性的挑战。
• 将项目间的序列交互与属性嵌入相结合，以提升推荐准确率。
• 克服传统矩阵分解模型在捕捉用户、项目与属性之间复杂非线性依赖关系方面的局限性。
• 探究序列建模是否在大规模场景下超越项目频率，提供额外优势。

提出的方法

• HA-RNN 采用分层属性组合输入层，通过在不同属性类型上堆叠嵌入向量，处理可变长度属性。
• 引入共享输出属性嵌入层，通过绑定输入与输出嵌入参数来正则化模型，降低在稀疏属性上的过拟合风险。
• 使用双向 RNN 捕获用户-项目交互序列中的序列依赖关系。
• 通过联合学习框架结合项目级与属性级嵌入，同时建模用户行为与属性语义。
• 该架构通过深度学习实现灵活的非线性函数映射，优于矩阵分解的线性假设。
• 实验通过子序列采样进行数据增强，以测试序列结构与项目频率的相对影响。

实验结果

研究问题

• RQ1 将项目序列交互纳入模型是否能提升推荐性能，而不仅仅是依赖项目频率？
• RQ2 异质属性（尤其是可变长度与稀疏性）如何影响模型性能？
• RQ3 输入与输出层之间共享嵌入参数是否能有效正则化稀疏属性特征？
• RQ4 随着数据规模增加，序列建模带来的性能增益是增强还是减弱？
• RQ5 序列建模的优势是否仅为小规模数据集的特例，还是能在更大规模下持续提升？

主要发现

• HA-RNN 在两个大规模数据集上显著优于最先进模型，证明了结合属性建模与序列建模的有效性。
• 消融实验表明，分层属性组合与共享输出嵌入组件对处理属性异质性与稀疏性均至关重要。
• 子序列采样实验表明，即使保持项目频率不变，破坏项目序列结构仍会降低性能，证明序列结构提供了超越频率的独特信息。
• 随着数据规模增加，HA-RNN 性能持续提升，而非序列模型（如 NHMF）则无此改善，表明序列建模能从更多数据中获益。
• 结果表明，序列模型在具有隐式反馈的大规模推荐系统中尤为适用。