[论文解读] Unbiased Recommender Learning from Missing-Not-At-Random Implicit Feedback

Yuta Saito, Suguru Yaginuma+3 more|arXiv (Cornell University)|Sep 9, 2019

Advanced Bandit Algorithms Research参考文献 29被引用 14

一句话总结

本文提出了一种推荐系统中的无偏估计器，通过建模项目曝光倾向并应用逆倾向加权，解决了隐式反馈中的缺失非随机（MNAR）问题。该方法通过最小化损失估计中的偏差，提升了相关性预测性能，尤其在稀有项目上表现更优，在整体和稀有项目排名的 DCG@5、Recall@5 和 MAP@5 上均优于 WMF 和 ExpoMF 等基线方法。

ABSTRACT

Recommender systems widely use implicit feedback such as click data because of its general availability. Although the presence of clicks signals the users' preference to some extent, the lack of such clicks does not necessarily indicate a negative response from the users, as it is possible that the users were not exposed to the items (positive-unlabeled problem). This leads to a difficulty in predicting the users' preferences from implicit feedback. Previous studies addressed the positive-unlabeled problem by uniformly upweighting the loss for the positive feedback data or estimating the confidence of each data having relevance information via the EM-algorithm. However, these methods failed to address the missing-not-at-random problem in which popular or frequently recommended items are more likely to be clicked than other items even if a user does not have a considerable interest in them. To overcome these limitations, we first define an ideal loss function to be optimized to realize recommendations that maximize the relevance and propose an unbiased estimator for the ideal loss. Subsequently, we analyze the variance of the proposed unbiased estimator and further propose a clipped estimator that includes the unbiased estimator as a special case. We demonstrate that the clipped estimator is expected to improve the performance of the recommender system, by considering the bias-variance trade-off. We conduct semi-synthetic and real-world experiments and demonstrate that the proposed method largely outperforms the baselines. In particular, the proposed method works better for rare items that are less frequently observed in the training data. The findings indicate that the proposed method can better achieve the objective of recommending items with the highest relevance.

研究动机与目标

• 解决隐式反馈中的缺失非随机（MNAR）问题，即热门项目无论用户偏好如何都更可能被点击。
• 克服 WMF 和 ExpoMF 等现有方法的偏差，这些方法优化的是点击概率而非真实相关性。
• 基于因果推断中的倾向得分思想，提出一种无偏估计器，用于最大化相关性的理想损失函数。
• 通过引入剪裁估计器平衡偏差与方差，降低估计器方差，从而提升对稀有项目的一般化能力。
• 证明所提方法在相关性指标上的排名性能更优，尤其在低曝光（稀有）项目上表现更佳。

提出的方法

• 定义一个理想损失函数，以最大化用户相关性，区别于点击概率，从而与推荐系统的真实目标保持一致。
• 提出使用逆倾向加权（IPW）对理想损失函数进行无偏估计，其中倾向得分代表项目的曝光概率。
• 分析 IPW 估计器的方差，并引入剪裁估计器，通过限制极端权重来降低方差，改善偏差-方差权衡。
• 采用自归一化逆倾向得分（SNIPS）进行超参数调优，确保在不同项目分布的验证集上评估结果稳定。
• 在矩阵分解框架内应用该方法，使用剪裁估计器优化项目和用户嵌入预测。
• 使用项目流行度（训练数据中的相对频率）估计倾向得分，同时承认其在捕捉用户特定曝光行为方面的局限性。

实验结果

研究问题

• RQ1 如何定义一个优化真实用户相关性的理想损失函数，而非仅基于点击概率的隐式反馈？
• RQ2 现有方法如 WMF 和 ExpoMF 在损失函数中因 MNAR 问题而受到多大程度的偏差影响？
• RQ3 基于逆倾向加权的无偏估计器是否能提升推荐性能，特别是在稀有项目上？
• RQ4 无偏估计器的方差在多大程度上影响性能？剪裁估计器能否改善偏差-方差权衡？
• RQ5 所提方法是否在 DCG@5、Recall@5 和 MAP@5 等指标上优于基线方法，特别是在低曝光（稀有）项目上？

主要发现

• 所提的 Rel-MF 方法在 DCG@5 上显著优于 WMF 和 ExpoMF，整体项目上较 ExpoMF 提升 20.4%，稀有项目上提升 11.8%。
• 在稀有项目上，该方法较最佳基线（ExpoMF）将 Recall@5 提升 6.4%，显示出对低频项目的优越泛化能力。
• 在整体项目上，MAP@5 较 ExpoMF 提升 26.6%；在稀有项目上提升 11.2%，证实了更好的排序质量。
• 尽管 ExpoMF 在 K=1 时对稀有项目的性能优于 Rel-MF，但整体趋势表明 Rel-MF 更优，尤其是在通过剪裁实现偏差-方差权衡后。
• 剪裁估计器降低了损失估计器的方差，从而带来更稳定、更准确的预测，尤其在低曝光概率项目上表现更佳。
• 实证结果证实，所提方法更契合最大化相关性的目标，因为它减少了基于点击优化固有的偏差。