[论文解读] MetaSelector: Meta-Learning for Recommendation with User-Level Adaptive Model Selection

Mi Luo, Fei Chen+5 more|arXiv (Cornell University)|Jan 22, 2020

Recommender Systems and Techniques参考文献 37被引用 4

一句话总结

MetaSelector 提出了一种元学习框架，用于推荐系统中的用户级自适应模型选择，其中元学习器根据用户的过往数据为每个用户选择最优推荐模型。该方法在 AUC 和 LogLoss 指标上显著优于单模型基线和样本级选择器，尤其在异质用户群体中表现突出，达到当前最优性能。

ABSTRACT

Recommender systems often face heterogeneous datasets containing highly personalized historical data of users, where no single model could give the best recommendation for every user. We observe this ubiquitous phenomenon on both public and private datasets and address the model selection problem in pursuit of optimizing the quality of recommendation for each user. We propose a meta-learning framework to facilitate user-level adaptive model selection in recommender systems. In this framework, a collection of recommenders is trained with data from all users, on top of which a model selector is trained via meta-learning to select the best single model for each user with the user-specific historical data. We conduct extensive experiments on two public datasets and a real-world production dataset, demonstrating that our proposed framework achieves improvements over single model baselines and sample-level model selector in terms of AUC and LogLoss. In particular, the improvements may lead to huge profit gain when deployed in online recommender systems.

研究动机与目标

• 为解决推荐系统中模型异质性的问题，即不存在一种模型能对所有用户都表现最佳。
• 通过实现用户级自适应模型选择，而非依赖全局或样本级选择，提升个性化推荐质量。
• 将模型选择问题建模为元学习任务，利用对用户特定数据模式的快速适应能力。
• 在真实世界和公开数据集上验证元学习模型选择的有效性，展示 AUC 和 LogLoss 指标的一致性提升。
• 验证通过元学习实现用户级自适应可带来更稳定且更公平的用户性能分布。

提出的方法

• MetaSelector 采用基于优化的元学习方法，具体为将 MAML 框架适配至模型选择任务。
• 将每个用户的数据视为一个任务，在元训练中使用支持集和查询集进行小样本训练，以模拟用户特定的适应过程。
• 模型选择器是一个 200-200-200 的多层感知机（MLP），为每个用户输出对基础推荐模型的概率分布。
• 在元训练过程中，通过使用查询集上适配后模型的损失进行梯度下降来更新选择器，从而实现对新用户的快速适应。
• 框架采用 Meta-SGD 自适应学习内部学习率，提升在不同用户任务间的泛化能力。
• 推理阶段，最终预测结果为所选模型输出的加权平均，权重由元学习器确定。

实验结果

研究问题

• RQ1 RQ1：在 AUC 和 LogLoss 指标上，基于元学习的用户级模型选择是否优于单模型基线和样本级模型选择器？
• RQ2 RQ2：MetaSelector 在用户间的预测误差分布如何？是否实现了更一致且更公平的性能表现？
• RQ3 RQ3：任务内适应在有效用户特定模型选择中是否至关重要？与简化变体相比表现如何？
• RQ4 RQ4：MetaSelector 的性能提升在现实世界中如何转化为业务影响，特别是在生产环境中的表现？

主要发现

• MetaSelector 在公开数据集（Movielens、Amazon）和真实世界生产数据集上，均显著优于单模型基线和样本级选择器，在 AUC 和 LogLoss 指标上取得显著提升。
• 该框架降低了用户间 LogLoss 的方差，使性能分布更集中且更公平，Movielens-1m 数据集上的核密度估计结果验证了这一点。
• 尽管样本级完美选择器具有更高的理论上限，但实践中用户级模型选择优于样本级选择，表明用户级特征更具判别性。
• 简化版 MetaSelector（省略任务内适应）性能略有下降，证实了元学习过程中对每个用户进行自适应的重要性。
• RelaImpr 分析表明，MetaSelector 的性能提升在部署至在线推荐系统后可带来显著的利润增长，凸显其在现实业务中的价值。