[论文解读] Fifty Shades of Ratings: How to Benefit from a Negative Feedback in Top-N Recommendations Tasks

Evgeny Frolov, Ivan Oseledets|arXiv (Cornell University)|Jul 14, 2016

Tensor decomposition and applications参考文献 20被引用 3

一句话总结

该论文提出了一种基于张量的协同过滤模型 CoFFee，将用户评分视为三元分类变量（积极、中性、消极），而非基数效用，从而能够有效利用纯粹的负面反馈进行学习。通过使用三阶张量分解和高阶折叠入方法，该模型在 Top-N 推荐任务中实现了最先进性能，尤其在无任何积极反馈的冷启动场景下表现优异，并通过揭示推荐质量中的偏差，超越了标准指标的表现。

ABSTRACT

Conventional collaborative filtering techniques treat a top-n recommendations problem as a task of generating a list of the most relevant items. This formulation, however, disregards an opposite - avoiding recommendations with completely irrelevant items. Due to that bias, standard algorithms, as well as commonly used evaluation metrics, become insensitive to negative feedback. In order to resolve this problem we propose to treat user feedback as a categorical variable and model it with users and items in a ternary way. We employ a third-order tensor factorization technique and implement a higher order folding-in method to support online recommendations. The method is equally sensitive to entire spectrum of user ratings and is able to accurately predict relevant items even from a negative only feedback. Our method may partially eliminate the need for complicated rating elicitation process as it provides means for personalized recommendations from the very beginning of an interaction with a recommender system. We also propose a modification of standard metrics which helps to reveal unwanted biases and account for sensitivity to a negative feedback. Our model achieves state-of-the-art quality in standard recommendation tasks while significantly outperforming other methods in the cold-start "no-positive-feedback" scenarios.

研究动机与目标

• 解决传统协同过滤在处理负面反馈时的局限性，后者常导致推荐结果不相关且用户参与度低。
• 克服标准评估指标（如 nDCG）对不相关推荐不敏感的问题，这些指标可能掩盖在冷启动或负面反馈场景下的性能不佳。
• 开发一种统一的推荐模型，即使在无积极反馈的情况下，也能在用户交互初期即实现良好表现。
• 引入一种改进的评估指标（nDCL），以捕捉对负面反馈的敏感性，并揭示推荐质量中的偏差。

提出的方法

• 将用户反馈建模为具有三个等级的分类变量：积极、中性与消极，而非将评分视为基数或序数效用。
• 采用三阶张量分解，联合建模用户、物品与反馈类别，以捕捉所有类型反馈下的复杂用户-物品偏好。
• 实现一种高阶折叠入技术，支持无需重新训练的高效在线推理与个性化推荐。
• 引入一种改进的评估指标 nDCL（归一化折扣累积损失），对不相关项目的排序进行惩罚，并揭示对负面反馈的敏感性。
• 通过评分预测任务校准模型，以验证其对精确评分和评分正向性的预测能力。
• 采用统一框架，同时支持冷启动与标准推荐场景，无需单独的评分收集流程。

实验结果

研究问题

• RQ1 推荐系统是否仅依赖负面反馈即可实现高质量推荐，而无需正向评分？
• RQ2 在冷启动设置下，当不相关项目被排在高排名时，标准评估指标（如 nDCG）为何无法检测到性能不佳？
• RQ3 将反馈视为分类变量的张量模型，在正向与负向反馈场景下，相较于传统矩阵分解方法，能多大程度上实现性能超越？
• RQ4 如 nDCL 这类改进的评估指标是否能有效揭示与负面反馈相关的推荐系统偏差？

主要发现

• CoFFee 模型在标准 Top-N 推荐任务中实现了最先进性能，优于 SVD 和 WRMF 模型，在 nDCG 和 nDCL 等多数指标上表现更优。
• 在无任何正向反馈的冷启动场景下，CoFFee 显著优于其他模型，展现出从首次交互起即可生成个性化推荐的能力。
• 在 Movielens 1M 数据集上，模型在 47% 的情况下正确预测了精确评分值，在 48% 的情况下正确预测了评分正向性，RMSE 得分为 0.77。
• 标准指标如 nDCG 无法检测到当不相关项目被排在高排名时的性能劣化；CoFFee 的 nDCL 指标揭示出 SVD 和 WRMF 模型比 CoFFee 更倾向于将不相关项目排在更高位置。
• 模型能够基于负面反馈成功推荐“相反”特征（如喜剧而非犯罪片），如示例所示，推荐《玩具总动员》而非《疤面煞星》。
• 即使用户仅提供负面反馈，模型性能依然稳健，证明仅凭负面反馈即可实现高质量、个性化的推荐。