[论文解读] Mixture-of-tastes Models for Representing Users with Diverse Interests

Maciej Kula|arXiv (Cornell University)|Nov 22, 2017

Recommender Systems and Techniques参考文献 14被引用 4

一句话总结

该论文提出了一种混合口味模型，将用户表示为多个潜在口味向量的加权组合，通过捕捉用户多样化的兴趣来提升推荐准确率。该方法在基于序列和矩阵分解的模型上均实现了显著的性能提升——MRR指标最高提升69%，尤其在用户行为范围广泛的亚马逊和Goodbooks数据集上表现突出。

ABSTRACT

Most existing recommendation approaches implicitly treat user tastes as unimodal, resulting in an average-of-tastes representations when multiple distinct interests are present. We show that appropriately modelling the multi-faceted nature of user tastes through a mixture-of-tastes model leads to large increases in recommendation quality. Our result holds both for deep sequence-based and traditional factorization models, and is robust to careful selection and tuning of baseline models. In sequence-based models, this improvement is achieved at a very modest cost in model complexity, making mixture-of-tastes models a straightforward improvement on existing baselines.

研究动机与目标

• 解决推荐系统中单峰用户表征的局限性，后者无法捕捉具有多种截然不同兴趣的用户。
• 通过将用户建模为多种独立口味的混合而非单一潜在向量，提升推荐质量。
• 在深度序列模型和传统矩阵分解模型上评估所提模型，以确保其广泛适用性。
• 证明模型对超参数调优的鲁棒性，并在Movielens、Amazon和Goodbooks等多样化数据集上具备可扩展性。
• 证实建模口味多样性可带来可测量的排名指标（如MRR）提升，且不会带来显著的计算开销。

提出的方法

• 将每个用户表示为m个不同口味向量的混合，每个口味向量关联一个能力（注意力）向量，用于确定其对单个物品的相关性。
• 通过注意力向量与物品嵌入的点积计算得到的权重，对口味向量进行加权平均，从而计算用户偏好。
• 实现两种变体：嵌入-混合矩阵分解（EM-F），使用独立的向量表示口味和能力；投影-混合矩阵分解（PM-F），通过投影计算混合权重。
• 将混合口味框架应用于循环神经网络模型（如带注意力的LSTM）和经典矩阵分解模型。
• 使用标准优化技术进行端到端训练，将混合机制集成到模型前向传播过程中。
• 通过超参数搜索调优基线模型，确保比较的公平性与结果的稳健性。

实验结果

研究问题

• RQ1 与单一向量表征相比，将用户建模为多个潜在口味的混合是否能提升推荐准确率？
• RQ2 在不同类型的推荐系统（序列模型 vs. 矩阵分解）中，混合口味模型的性能与强基线相比如何？
• RQ3 不同数据集和模型架构下，最优口味组件数量是多少？
• RQ4 在对基线模型进行细致超参数调优后，混合口味模型的性能提升是否依然显著？
• RQ5 模型复杂度随混合组件数量的增加如何变化？性能增益是否值得增加的参数量？

主要发现

• 在Movielens 10M数据集上，Mixture-LSTM模型相比基线LSTM在MRR上提升10%；在Amazon数据集上提升26%；在Goodbooks数据集上提升17%。
• 在Amazon数据集上，嵌入混合模型相比基线矩阵分解模型，MRR提升达69%，表明在高多样性环境中性能显著增强。
• 在Goodbooks数据集上，嵌入混合模型实现12%的MRR提升，而投影混合模型在Amazon上表现较差，表明尽管表达能力更强，但优化仍具挑战性。
• 随着混合组件数量的增加，性能持续提升，呈现出剂量-反应关系：通常组件越多，结果越好，但最优值因数据集和模型类型而异。
• 基线模型和混合模型的超参数搜索均能快速收敛，且调优后混合模型始终优于基线，证实结果并非优化过程的偶然产物。
• 该方法在模型复杂度仅略有增加的情况下实现了显著的准确率提升，尤其在序列模型中表现突出，使其成为现有系统的实用且高效的升级方案。