[论文解读] End-to-end Learnable Diversity-aware News Recommendation

Chuhan Wu, Fangzhao Wu+2 more|arXiv (Cornell University)|Apr 1, 2022

Recommender Systems and Techniques被引用 6

一句话总结

LeaDivRec 是一种端到端、可学习的新闻推荐模型，通过使用排列 Transformer 对新闻列表进行排序，建模新闻之间的相互关系，并为语义相似的新闻学习多样化表征，从而提升推荐多样性。与专注于准确率的模型及 DPP 等后处理重排序方法相比，LeaDivRec 在准确率与多样性之间实现了更优的权衡。

ABSTRACT

Diversity is an important factor in providing high-quality personalized news recommendations. However, most existing news recommendation methods only aim to optimize recommendation accuracy while ignoring diversity. Reranking is a widely used post-processing technique to promote the diversity of top recommendation results. However, the recommendation model is not perfect and errors may be propagated and amplified in a cascaded recommendation algorithm. In addition, the recommendation model itself is not diversity-aware, making it difficult to achieve a good tradeoff between recommendation accuracy and diversity. In this paper, we propose a news recommendation approach named LeaDivRec, which is a fully learnable model that can generate diversity-aware news recommendations in an end-to-end manner. Different from existing news recommendation methods that are usually based on point- or pair-wise ranking, in LeaDivRec we propose a more effective list-wise news recommendation model. More specifically, we propose a permutation Transformer to consider the relatedness between candidate news and meanwhile can learn different representations for similar candidate news to help improve recommendation diversity. We also propose an effective list-wise training method to learn accurate ranking models. In addition, we propose a diversity-aware regularization method to further encourage the model to make controllable diversity-aware recommendations. Extensive experiments on two real-world datasets validate the effectiveness of our approach in balancing recommendation accuracy and diversity.

研究动机与目标

• 为解决现有新闻推荐模型过度侧重准确率而忽视多样性的局限性，避免推荐结果冗余且缺乏吸引力。
• 消除对 DPP 等后处理重排序技术的依赖，这些技术可能放大模型错误，且难以有效平衡准确率与多样性。
• 开发一种完全可学习的端到端框架，在统一的训练过程中联合优化推荐准确率与多样性。
• 通过训练期间可调节的超参数，实现对推荐多样性的可控调节。

提出的方法

• 提出一种列表级排序模型，考虑候选新闻在推荐列表中的相互关联性，而非独立评分每条新闻。
• 引入一种排列 Transformer 架构，通过在不同注意力头中使用不同的输入排列顺序，捕捉候选新闻之间的动态关系，并为语义相似的项目学习多样化表征。
• 采用一种新颖的列表级训练目标，同时优化整个排序列表，提升模型与真实推荐目标的一致性。
• 在损失函数中引入一种多样性感知正则化项，通过可学习的超参数 λ 控制，鼓励在高排名结果中选择多样化新闻。
• 使用真实世界数据集进行端到端训练，实现在无需级联后处理的情况下，联合优化相关性与多样性。
• 采用基于排列的注意力机制，对输入顺序不敏感，且在区分相似新闻方面优于标准位置编码 Transformer。

实验结果

研究问题

• RQ1 完全端到端可学习的模型是否能在平衡推荐准确率与多样性方面优于传统以准确率为优化目标的模型？
• RQ2 排列 Transformer 在建模新闻间关系及为相似新闻生成多样化表征方面效果如何？
• RQ3 结合多样性感知正则化的列表级训练是否能比点级或成对训练带来更优的准确率-多样性权衡？
• RQ4 LeaDivRec 是否能在准确率-多样性平衡上优于 DPP 基础的重排序方法，后者是多样性处理的标准后处理手段？
• RQ5 通过单一超参数在训练期间对模型多样性水平的控制程度如何？

主要发现

• 在相同多样性约束下，LeaDivRec 的推荐准确率高于基于 DPP 的重排序方法，证明其在平衡准确率与多样性方面更具有效性。
• 在 MIND 数据集上，LeaDivRec 在 λ = 10 时达到最优权衡；在 PrivateNews 数据集上，最佳性能出现在 λ = 20，表明对多样性强度具有有效控制能力。
• 排列 Transformer 在准确率与多样性方面均优于标准 Transformer（无论是否使用位置嵌入），证明其在建模新闻间关系与表征多样性方面的优越性。
• 案例研究显示，LeaDivRec 为语义相似的新闻分配了显著不同的排名，相比标准模型显著降低了冗余性，提升了结果多样性。
• 由于避免了 DPP 等级联后处理流水线，该模型降低了将基础推荐模型错误传播并放大的风险。
• 大量实验证明，LeaDivRec 在两个真实世界数据集上，于准确率与多样性指标上均持续优于多个强基线模型。