[论文解读] AMER: Automatic Behavior Modeling and Interaction Exploration in Recommender System

Pengyu Zhao, Kecheng Xiao+3 more|arXiv (Cornell University)|Jun 10, 2020

Recommender Systems and Techniques参考文献 60被引用 9

一句话总结

AMER 提出了一种用于推荐系统的自动神经架构搜索框架，通过三阶段搜索空间和一次性随机搜索流程，联合优化行为建模与特征交互学习。该方法通过有效发现最优残差块、特征交互和聚合网络，无需人工工程，显著优于手工设计的基线模型。

ABSTRACT

User behavior and feature interactions are crucial in deep learning-based recommender systems. There has been a diverse set of behavior modeling and interaction exploration methods in the literature. Nevertheless, the design of task-aware recommender systems still requires feature engineering and architecture engineering from domain experts. In this work, we introduce AMER, namely Automatic behavior Modeling and interaction Exploration in Recommender systems with Neural Architecture Search (NAS). The core contributions of AMER include the three-stage search space and the tailored three-step searching pipeline. In the first step, AMER searches for residual blocks that incorporate commonly used operations in the block-wise search space of stage 1 to model sequential patterns in user behavior. In the second step, it progressively investigates useful low-order and high-order feature interactions in the non-sequential interaction space of stage 2. Finally, an aggregation multi-layer perceptron (MLP) with shortcut connection is selected from flexible dimension settings of stage~3 to combine features extracted from the previous steps. For efficient and effective NAS, AMER employs the one-shot random search in all three steps. Further analysis reveals that AMER's search space could cover most of the representative behavior extraction and interaction investigation methods, which demonstrates the universality of our design. The extensive experimental results over various scenarios reveal that AMER could outperform competitive baselines with elaborate feature engineering and architecture engineering, indicating both effectiveness and robustness of the proposed method.

研究动机与目标

• 消除基于深度学习的推荐系统中手动进行特征工程与架构设计的需求。
• 设计一个统一的、任务感知的搜索空间，以同时捕捉序列行为建模与特征交互学习。
• 开发一种高效且有效的 NAS 流水线，可扩展至复杂的推荐工作负载。
• 通过覆盖现有代表性方法，证明所提出的搜索空间的通用性与鲁棒性。
• 在无需专家定制设计的情况下，实现在多个基准场景下的最先进性能。

提出的方法

• AMER 采用三阶段搜索空间：第一阶段聚焦于使用通用操作的块级残差块，用于建模用户的序列行为。
• 第二阶段在非序列交互空间中探索低阶与高阶特征交互，以捕捉复杂的用户-物品关系。
• 第三阶段从灵活的维度设置中选择带有捷径连接的自适应聚合 MLP，以整合前序阶段的特征。
• 在所有三个阶段中应用一次性随机搜索策略，实现在无需从头训练每个候选架构的前提下高效发现架构。
• 搜索空间设计为通用形式，能够将大多数现有行为建模与交互方法作为特例覆盖。
• 最终架构基于验证性能选择，确保行为建模与交互学习的端到端优化。

实验结果

研究问题

• RQ1 统一的神经架构搜索框架能否有效自动化推荐系统中的行为建模与特征交互学习？
• RQ2 所提出的三阶段搜索空间在多大程度上覆盖了现有行为建模与交互学习的代表性方法？
• RQ3 一次性随机搜索策略在复杂推荐任务中，能否实现高效且有效的架构发现？
• RQ4 自动发现的架构是否优于包含专家设计组件的手工模型？
• RQ5 该方法在多种推荐场景与数据分布下具有多强的鲁棒性？

主要发现

• AMER 在性能上优于依赖大量特征与架构工程的对比基线模型。
• AMER 的搜索空间能够覆盖大多数代表性行为建模与交互方法，证实其通用性。
• 一次性随机搜索策略在不牺牲性能的前提下实现了高效的架构发现。
• AMER 在多种推荐场景中表现出鲁棒性，表明其具备强大的泛化能力。
• 该方法成功自动化了残差块、特征交互与聚合网络的设计，消除了对专家干预的需求。
• AMER 自动发现的最终架构具有良好的泛化能力，在多个基准设置中优于人工设计组件的模型。