[论文解读] A Zero Attentive Relevance Matching Networkfor Review Modeling in Recommendation System

Hansi Zeng, Zhichao Xu+1 more|arXiv (Cornell University)|Jan 16, 2021

Recommender Systems and Techniques参考文献 40被引用 4

一句话总结

该论文提出ZARM，一种新颖的基于交互的推荐模型，通过正则化训练的关联匹配网络，动态地从与目标商品相关联的评论中提取用户表征，同时采用零注意力机制，在无相关评论时实现平稳退化。该模型在四个Amazon基准数据集上优于最先进的孪生网络与基于交互的模型，有效捕捉用户-物品关联性并提升评分预测准确性。

ABSTRACT

User and item reviews are valuable for the construction of recommender systems. In general, existing review-based methods for recommendation can be broadly categorized into two groups: the siamese models that build static user and item representations from their reviews respectively, and the interaction-based models that encode user and item dynamically according to the similarity or relationships of their reviews. Although the interaction-based models have more model capacity and fit human purchasing behavior better, several problematic model designs and assumptions of the existing interaction-based models lead to its suboptimal performance compared to existing siamese models. In this paper, we identify three problems of the existing interaction-based recommendation models and propose a couple of solutions as well as a new interaction-based model to incorporate review data for rating prediction. Our model implements a relevance matching model with regularized training losses to discover user relevant information from long item reviews, and it also adapts a zero attention strategy to dynamically balance the item-dependent and item-independent information extracted from user reviews. Empirical experiments and case studies on Amazon Product Benchmark datasets show that our model can extract effective and interpretable user/item representations from their reviews and outperforms multiple types of state-of-the-art review-based recommendation models.

研究动机与目标

• 为解决现有基于交互的推荐模型尽管容量更高且更符合人类行为，但性能仍不理想的问题。
• 克服当前基于交互模型的三大关键局限：长评论中相似性信号被稀释、用户评论数量有限导致过拟合，以及依赖文本相似性而非真实用户意见。
• 开发一种能够基于与目标商品的相关性动态学习用户表征的模型，同时在无相关评论时仍保持鲁棒性。
• 通过使用真实用户评论作为正样本对来训练关联匹配模块，提升基于评论表征的可解释性与有效性。

提出的方法

• 该模型采用关联匹配模块，将每个用户评论视为查询，从目标商品的评论中检索相关内容，从而即使在长文本中也能发现语义相关的资讯。
• 引入正则化辅助损失，使用真实用户评论与对应商品评论作为正样本'查询-文档'对，提升关联匹配函数的训练效果。
• 采用零注意力网络，动态平衡用户评论中的商品相关与商品无关信息，使模型在无相关评论时退化为孪生模型。
• 通过多层卷积自注意力网络学习静态用户与商品嵌入，以捕捉从词到评论的层次化表征。
• 最终用户表征由交互模块生成的动态表征与静态嵌入组合而成，确保在低相关性场景下的鲁棒性。
• 将关联匹配模块作为辅助损失集成到训练目标中，增强相关性得分与真实用户意见之间的对齐。

实验结果

研究问题

• RQ1 如何在不依赖原始文本相似性的情况下，使基于交互的模型更好地捕捉用户对目标商品的相关性？
• RQ2 使用真实用户评论作为正样本对对关联匹配函数的训练有何影响？
• RQ3 当用户评论与目标商品无相关性时，模型如何维持性能？
• RQ4 零注意力机制在低相关性场景下在多大程度上提升了鲁棒性与泛化能力？
• RQ5 关联匹配得分与实际用户意见及商品特征的相关性如何？

主要发现

• ZARM模型在四个Amazon基准数据集上的评分预测准确率上优于多个最先进的孪生网络与基于交互的模型。
• 数据集中约50%的用户-物品对与目标商品无相关用户评论，其中Video Games数据集中该比例最高，达60%。
• 在Toys & Games数据集中，15%的用户-物品对拥有超过三篇相关评论，表明用户对相似商品的兴趣具有一致性。
• 案例研究显示，高相关性得分与用户评论与商品描述之间的共享关键词及语义对齐相关，如'Gyro Hercules'与'durable'。
• 当无相关评论存在时，零注意力机制成功退化为孪生模型，保持了在稀疏场景下的性能。
• 带有辅助损失的关联匹配模块显著提升了模型识别反映真实用户意见的语义相关评论的能力。