[论文解读] Deep Meta-learning in Recommendation Systems: A Survey

Chunyang Wang, Yanmin Zhu+4 more|arXiv (Cornell University)|Jun 9, 2022

Recommender Systems and Techniques被引用 10

一句话总结

本综述提出了一种推荐系统中深度元学习方法的全面分类法，按推荐场景、元学习技术及元知识表示对方法进行分类。结果表明，元学习在数据稀缺场景（如冷启动推荐）中能显著提升泛化能力和效率，为改进稀疏数据环境下的个性化与自适应能力提供了设计原则和未来研究方向。

ABSTRACT

Deep neural network based recommendation systems have achieved great success as information filtering techniques in recent years. However, since model training from scratch requires sufficient data, deep learning-based recommendation methods still face the bottlenecks of insufficient data and computational inefficiency. Meta-learning, as an emerging paradigm that learns to improve the learning efficiency and generalization ability of algorithms, has shown its strength in tackling the data sparsity issue. Recently, a growing number of studies on deep meta-learning based recommenddation systems have emerged for improving the performance under recommendation scenarios where available data is limited, e.g. user cold-start and item cold-start. Therefore, this survey provides a timely and comprehensive overview of current deep meta-learning based recommendation methods. Specifically, we propose a taxonomy to discuss existing methods according to recommendation scenarios, meta-learning techniques, and meta-knowledge representations, which could provide the design space for meta-learning based recommendation methods. For each recommendation scenario, we further discuss technical details about how existing methods apply meta-learning to improve the generalization ability of recommendation models. Finally, we also point out several limitations in current research and highlight some promising directions for future research in this area.

研究动机与目标

• 为解决基于深度学习的推荐系统在数据稀疏和计算效率低下方面的问题，特别是在冷启动场景下的挑战。
• 提供一种系统化的深度元学习方法在推荐系统中的分类法，按推荐场景、元学习技术及元知识表示组织。
• 分析元学习如何通过技术机制提升推荐模型的泛化能力和适应能力。
• 识别当前研究的局限性，并提出有前景的未来研究方向，包括利用辅助数据进行任务增强，以及基于元学习的推荐模型神经架构搜索。

提出的方法

• 提出一个三维分类法：推荐场景（如用户/物品冷启动、在线推荐）、元学习技术（如基于度量的方法、基于优化的方法）以及元知识表示（如模型权重、嵌入向量）。
• 回顾元学习如何通过学习有效学习策略的先验知识，利用支持集初始化新任务的模型参数，从而实现在新任务上的快速适应。
• 分析元学习框架（如MAML及其变体），这些框架通过优化元初始化，使通过梯度更新实现少样本适应更加高效。
• 研究以任务特定嵌入或注意力机制形式存在的元知识，用于指导个性化推荐中的模型自适应。
• 探索将辅助信息（如知识图谱、社交网络、物品属性）整合到元学习任务中，以超越交互数据丰富任务构建。
• 讨论将元学习应用于推荐模型的神经架构搜索（NAS）的潜力，以实现根据任务自动发现最优模型结构。

实验结果

研究问题

• RQ1 如何有效应用元学习以在冷启动等数据稀缺条件下提升推荐系统的泛化能力？
• RQ2 哪些关键设计维度——推荐场景、元学习技术及元知识表示——塑造了当前基于元学习的推荐方法？
• RQ3 如何利用知识库、社交网络或多媒体源的辅助信息来增强元学习任务的构建？
• RQ4 当前元学习方法在推荐系统中的局限性是什么？有哪些新颖的研究方向可以解决这些问题？

主要发现

• 元学习通过在极小数据量下实现快速适应，显著提升了冷启动和少样本推荐场景下的模型泛化能力。
• 推荐场景、元学习技术与元知识表示的分类法为未来方法的开发提供了结构化的设计空间。
• 将物品属性或社交网络等辅助信息整合到元学习任务中，可通过丰富任务上下文和提升表征学习能力来增强性能。
• 基于元学习引导的神经架构搜索（NAS）在自动发现最优推荐模型结构方面展现出潜力，但在该领域仍处于探索阶段。
• 当前推荐系统中的元学习方法主要局限于交互数据，将任务构建扩展至包含结构化或文本辅助数据是未来的关键方向。
• 通过元学习联合优化模型权重与架构连接，可带来更优性能，提示推荐模型设计中亟需联合搜索框架。