[论文解读] A Comprehensive Survey on Automated Machine Learning for Recommendations

Bo Chen, Xiangyu Zhao+4 more|arXiv (Cornell University)|Apr 4, 2022

Recommender Systems and Techniques被引用 8

一句话总结

本综述全面概述了用于深度推荐系统（DRS）的自动化机器学习（AutoML），系统性地分析了AutoML在特征选择、嵌入搜索、特征交互和模型训练中的应用。研究发现，AutoML正朝着采用抽象搜索空间的多组件联合搜索方向发展，结合高效算法，提出统一框架以提升推荐性能，同时减少人为偏见和工程成本。

ABSTRACT

Deep recommender systems (DRS) are critical for current commercial online service providers, which address the issue of information overload by recommending items that are tailored to the user's interests and preferences. They have unprecedented feature representations effectiveness and the capacity of modeling the non-linear relationships between users and items. Despite their advancements, DRS models, like other deep learning models, employ sophisticated neural network architectures and other vital components that are typically designed and tuned by human experts. This article will give a comprehensive summary of automated machine learning (AutoML) for developing DRS models. We first provide an overview of AutoML for DRS models and the related techniques. Then we discuss the state-of-the-art AutoML approaches that automate the feature selection, feature embeddings, feature interactions, and model training in DRS. We point out that the existing AutoML-based recommender systems are developing to a multi-component joint search with abstract search space and efficient search algorithm. Finally, we discuss appealing research directions and summarize the survey.

研究动机与目标

• 提供针对深度推荐系统（DRS）应用的AutoML技术的全面综述。
• 分析最先进的AutoML方法在自动化关键DRS组件方面的应用，包括特征选择、特征嵌入、特征交互和模型训练。
• 识别新兴趋势，包括多组件联合搜索与抽象搜索空间设计，并突出尚未充分探索的研究方向。
• 通过自动化DRS组件优化，减少对人工、专家驱动模型设计的依赖。
• 通过识别AutoML在序列化、社交及POI推荐中的应用缺口，为未来研究提供指导。

提出的方法

• 将DRS中的AutoML应用划分为四个核心组件：特征选择、特征嵌入搜索、特征交互搜索与模型训练自动化。
• 回顾搜索空间设计，包括单组件与多组件、抽象与详细表示的对比。
• 分析应用于DRS的搜索策略，如强化学习、贝叶斯优化与神经架构搜索（NAS）。
• 研究AutoML与模型压缩、量化及损失函数优化的集成方法。
• 通过将异构搜索空间转换为同构表示，提出一种用于多组件联合搜索的统一框架。
• 在多种推荐场景下评估现有AutoML技术，包括序列化推荐、社交推荐与POI推荐。

实验结果

研究问题

• RQ1 如何有效利用AutoML实现高维、稀疏推荐系统中的特征选择自动化？
• RQ2 在深度推荐模型中，优化特征嵌入的最有效搜索策略是什么？
• RQ3 AutoML如何用于发现超越标准操作（如内积与外积）的最优特征交互函数？
• RQ4 将通用AutoML算法应用于用户-物品交互数据的稀疏性、序列性与个性化特性时，会面临哪些挑战？
• RQ5 如何在DRS中高效地对异构搜索空间执行全面的多组件联合搜索？

主要发现

• 基于AutoML的DRS正朝着采用抽象搜索空间的多组件联合搜索发展，显著提升搜索效率与模型性能。
• 尽管这些领域日益受到关注，现有AutoML方法在序列化、社交及POI推荐任务中仍存在显著的研究空白。
• 特征嵌入占模型参数的绝大部分，因此自动化嵌入维度搜索与压缩是高影响力的研究方向。
• 当前AutoML方法通常分别优化各组件，导致性能次优且搜索效率低下，凸显了统一搜索空间的必要性。
• 将CV/NLP-based AutoML算法迁移至推荐系统时效果不佳，原因在于用户-物品数据具有独特的稀疏性与高维性。
• 自适应多任务学习与自动检索相关用户历史行为是未来AutoML在推荐领域中具有前景但尚未充分探索的方向。