[论文解读] Asymmetric Tri-training for Debiasing Missing-Not-At-Random Explicit Feedback

Yuta Saito|arXiv (Cornell University)|Sep 8, 2019

Domain Adaptation and Few-Shot Learning参考文献 43被引用 4

一句话总结

本文提出了一种非对称三重训练方法，用于在缺失非随机（MNAR）数据下对推荐系统中的显式反馈进行去偏。通过利用两个预测器生成可靠的伪评分，一个第三预测器生成最终预测，该方法在不依赖倾向性得分的情况下实现了稳健的性能，相较于现有方法在减少偏差和方差方面表现更优，适用于真实世界数据集。

ABSTRACT

In most real-world recommender systems, the observed rating data are subject to selection bias, and the data are thus missing-not-at-random. Developing a method to facilitate the learning of a recommender with biased feedback is one of the most challenging problems, as it is widely known that naive approaches under selection bias often lead to suboptimal results. A well-established solution for the problem is using propensity scoring techniques. The propensity score is the probability of each data being observed, and unbiased performance estimation is possible by weighting each data by the inverse of its propensity. However, the performance of the propensity-based unbiased estimation approach is often affected by choice of the propensity estimation model or the high variance problem. To overcome these limitations, we propose a model-agnostic meta-learning method inspired by the asymmetric tri-training framework for unsupervised domain adaptation. The proposed method utilizes two predictors to generate data with reliable pseudo-ratings and another predictor to make the final predictions. In a theoretical analysis, a propensity-independent upper bound of the true performance metric is derived, and it is demonstrated that the proposed method can minimize this bound. We conduct comprehensive experiments using public real-world datasets. The results suggest that the previous propensity-based methods are largely affected by the choice of propensity models and the variance problem caused by the inverse propensity weighting. Moreover, we show that the proposed meta-learning method is robust to these issues and can facilitate in developing effective recommendations from biased explicit feedback.

研究动机与目标

• 解决推荐系统中观测评分缺失非随机（MNAR）的问题，违反了常见的MCAR假设。
• 克服基于倾向性得分方法的局限性，包括对倾向性模型选择的敏感性以及逆权重带来的高方差。
• 开发一种模型无关的元学习方法，在MNAR反馈下提升推荐准确性。
• 推导出一个与倾向性无关的真实性能上界，并通过训练过程最小化该上界。
• 与现有去偏技术相比，展示在多样化真实世界数据集上的鲁棒性和有效性。

提出的方法

• 采用受无监督域适应启发的非对称三重训练框架，使用两个预测器生成伪评分，一个预测器生成最终预测。
• 采用元学习策略，使最终预测器在两个辅助预测器生成的伪标签数据上进行训练，从而提升泛化能力。
• 提出理论分析，表明该方法最小化了真实性能度量的与倾向性无关的上界。
• 采用两阶段训练流程：首先在观测数据上训练两个预测器；其次，利用它们为未观测样本对生成伪评分，以训练最终预测器。
• 设计方法为模型无关，可与多种推荐模型（如矩阵分解）集成。
• 依赖置信度阈值筛选可靠的伪评分，降低噪声并提升鲁棒性。

实验结果

研究问题

• RQ1 元学习方法是否能在不依赖倾向性评分的情况下减少推荐系统中的偏差？
• RQ2 与基于倾向性的方法相比，所提出的非对称三重训练方法在模型选择和方差方面的鲁棒性如何？
• RQ3 通过最小化真实性能的理论上的界，该方法是否能在MNAR显式反馈中实现更优性能？
• RQ4 该方法在具有不同选择偏差水平的真实世界数据集上，其泛化能力如何？
• RQ5 在缺乏真实标签的情况下，由辅助预测器生成的伪评分是否能提升最终预测的准确性？

主要发现

• 所提方法在多个公开数据集上显著优于现有基于倾向性的方法，在推荐准确性方面表现更优。
• 其对倾向性估计模型选择的鲁棒性显著，这是先前方法的主要局限。
• 该方法降低了性能估计的方差，尤其在高物品流行度或用户活跃度多样性较高的场景下表现更优。
• 实证结果表明，该方法成功最小化了推导出的与倾向性无关的真实性能上界，验证了理论分析。
• 利用两个可靠预测器生成的伪评分，可获得比直接在有偏观测数据上训练更准确的最终预测。
• 全面实验表明，即使真实倾向性得分未知或误设，该方法依然有效。