[论文解读] StableDR: Stabilized Doubly Robust Learning for Recommendation on Data Missing Not at Random

Haoxuan Li, Chunyuan Zheng+1 more|arXiv (Cornell University)|May 10, 2022

Machine Learning and ELM被引用 12

一句话总结

该论文提出StableDR，一种在缺失非随机（MNAR）数据下用于推荐的稳定双重稳健学习方法，通过减少对外推的依赖，确保即使在倾向得分极小时，偏差、方差和泛化误差也保持有界。该方法在填充、倾向和预测模型之间采用循环优化，相较于现有基于DR的方法，在真实世界数据集上的收敛性和准确性方面均表现出更优性能。

ABSTRACT

In recommender systems, users always choose the favorite items to rate, which leads to data missing not at random and poses a great challenge for unbiased evaluation and learning of prediction models. Currently, the doubly robust (DR) methods have been widely studied and demonstrate superior performance. However, in this paper, we show that DR methods are unstable and have unbounded bias, variance, and generalization bounds to extremely small propensities. Moreover, the fact that DR relies more on extrapolation will lead to suboptimal performance. To address the above limitations while retaining double robustness, we propose a stabilized doubly robust (StableDR) learning approach with a weaker reliance on extrapolation. Theoretical analysis shows that StableDR has bounded bias, variance, and generalization error bound simultaneously under inaccurate imputed errors and arbitrarily small propensities. In addition, we propose a novel learning approach for StableDR that updates the imputation, propensity, and prediction models cyclically, achieving more stable and accurate predictions. Extensive experiments show that our approaches significantly outperform the existing methods.

研究动机与目标

• 解决现有双重稳健（DR）方法在缺失非随机（MNAR）数据下的推荐系统中出现的不稳定性问题。
• 降低DR方法对外推的依赖，从而在用户仅对偏好项目评分时避免性能下降。
• 确保在任意小的倾向得分和不准确的填充误差下，偏差、方差和泛化误差保持有界。
• 开发一种新型训练策略，通过循环更新填充、倾向和预测模型，以提升稳定性和准确性。
• 通过实证验证，StableDR在评分预测任务中优于最先进去偏方法。

提出的方法

• 提出一种稳定双重稳健（StableDR）估计器，在保持双重稳健性的同时，减少在MNAR设置下对外推的依赖。
• 提出一个理论框架，证明StableDR在任意小的倾向得分和不准确填充误差下，偏差、方差和泛化误差均保持有界。
• 设计一种循环学习算法，通过迭代更新填充、倾向和预测模型，以增强稳定性和收敛性。
• 在倾向模型训练过程中应用稳定化约束，以降低对小倾向得分的敏感性，提升鲁棒性。
• 使用带正则化项的交叉熵损失来稳定倾向模型，降低估计中的方差。
• 采用联合优化方案，使每个模型基于其他模型的当前状态进行更新，从而提升整体泛化能力。

实验结果

研究问题

• RQ1 双重稳健估计器是否能在任意小的倾向得分和不准确填充误差下保持有界的偏差和方差？
• RQ2 降低对外推的依赖，如何提升在MNAR数据下推荐模型的稳定性和准确性？
• RQ3 在填充、倾向和预测模型之间采用循环优化，是否能带来优于两阶段或交替训练的收敛性和性能？
• RQ4 稳定化约束的强度如何影响MNAR设置下模型的性能和鲁棒性？
• RQ5 StableDR是否能在真实世界推荐数据集上，同时在无偏评估和预测准确性方面优于现有基于DR的方法？

主要发现

• StableDR在Coat和Yahoo! R3数据集上，于MSE、AUC、NDCG@5和NDCG@10四项指标上均表现最佳，全面超越所有基线方法。
• 所提出的循环学习策略显著提升了收敛性和预测准确性，相比两阶段和交替训练方法表现更优。
• 在最优稳定化约束强度下，StableDR相较于DR-JL和MRDR-JL展现出稳定且显著的性能提升，尤其在倾向得分较小时效果更明显。
• 即使在任意小的倾向得分下，StableDR仍能保持有界的偏差和泛化误差，而标准DR方法则因误差无界而性能严重下降。
• 该方法在不同倾向模型（朴素贝叶斯加拉普拉斯平滑和逻辑回归）下均表现出鲁棒性，证实其良好的泛化能力。
• 消融实验表明，稳定化约束至关重要——若无该约束，性能退化至接近基线水平，凸显其在稳定性中的核心作用。