[论文解读] Efficiently Leveraging Multi-level User Intent for Session-based Recommendation via Atten-Mixer Network

Peiyan Zhang, Jiayan Guo+7 more|arXiv (Cornell University)|Jun 26, 2022

Recommender Systems and Techniques被引用 7

一句话总结

本文提出 Atten-Mixer，一种轻量级会话推荐模型，通过使用多级注意力读出机制替代复杂的图神经网络（GNN）传播，高效捕捉用户意图的层次结构。通过引入概念视图和实例视图注意力，并结合归纳偏置以剪枝搜索空间，Atten-Mixer 在显著降低复杂度的同时实现最先进（SOTA）性能，在 2021 年 4 月上线部署以来，关键业务指标提升 +1.5%。

ABSTRACT

Session-based recommendation (SBR) aims to predict the user's next action based on short and dynamic sessions. Recently, there has been an increasing interest in utilizing various elaborately designed graph neural networks (GNNs) to capture the pair-wise relationships among items, seemingly suggesting the design of more complicated models is the panacea for improving the empirical performance. However, these models achieve relatively marginal improvements with exponential growth in model complexity. In this paper, we dissect the classical GNN-based SBR models and empirically find that some sophisticated GNN propagations are redundant, given the readout module plays a significant role in GNN-based models. Based on this observation, we intuitively propose to remove the GNN propagation part, while the readout module will take on more responsibility in the model reasoning process. To this end, we propose the Multi-Level Attention Mixture Network (Atten-Mixer), which leverages both concept-view and instance-view readouts to achieve multi-level reasoning over item transitions. As simply enumerating all possible high-level concepts is infeasible for large real-world recommender systems, we further incorporate SBR-related inductive biases, i.e., local invariance and inherent priority to prune the search space. Experiments on three benchmarks demonstrate the effectiveness and efficiency of our proposal. We also have already launched the proposed techniques to a large-scale e-commercial online service since April 2021, with significant improvements of top-tier business metrics demonstrated in the online experiments on live traffic.

研究动机与目标

• 探究尽管复杂度不断增加，基于 GNN 的会话推荐模型是否仍存在参数过载问题。
• 识别出当读出模块已能捕捉强偏好信号时，GNN 传播过程是否冗余。
• 设计一种更高效的架构，将推理责任转移至强大且多级的读出模块。
• 融入会话推荐（SBR）特定的归纳偏置——局部不变性和固有优先性，以剪枝高层概念的搜索空间。
• 通过离线基准测试和大规模线上部署，验证模型的有效性与效率。

提出的方法

• 提出 Atten-Mixer 模型，移除 GNN 传播，仅依赖多级注意力读出进行会话表征。
• 引入概念视图读出，通过将项目分组为抽象概念（如“婚礼礼服”）来建模高层用户意图。
• 采用实例视图读出，关注单个物品，尤其是最后点击的物品，以实现细粒度偏好建模。
• 使用可学习的注意力混合器，结合概念级与实例级表征，实现多级推理。
• 应用归纳偏置（局部不变性和固有优先性）以约束可能高层概念的搜索空间，避免穷举枚举。
• 通过验证集上的超参数调优，使用交叉熵损失端到端训练模型，进行下一物品预测。

实验结果

研究问题

• RQ1 现有 SBR 模型中复杂的 GNN 传播是否真正必要？在读出模块已具备强大表征能力的前提下，是否冗余？
• RQ2 通过增强读出设计，是否可实现无 GNN 的简化架构，并超越最先进（SOTA）的基于 GNN 的 SBR 模型？
• RQ3 涵盖高层概念与单个物品的多级推理如何改善会话表征？
• RQ4 何种归纳偏置最有效，可在不牺牲性能的前提下减少高层概念的搜索空间？
• RQ5 轻量级、基于注意力的读出模型是否能在离线基准测试与真实世界线上生产系统中持续实现性能提升？

主要发现

• Atten-Mixer 在三个公开基准数据集（Diginetica、Gowalla、Last.fm）上达到 SOTA 性能，HR@20 分别为 55.66、55.12 和 27.01。
• 在真实流量实验中，模型在一周内使线上业务指标提升 +1.5%，证明其在实际场景中的有效性。
• Level-L 组件在 l=2 时性能达到峰值，表明两级抽象（实例与概念）是建模用户意图的最优配置。
• 使用更多注意力头可提升 Diginetica 和 Gowalla 的性能，但在 Last.fm 上反而损害性能，表明对头数的敏感性具有数据集特异性。
• Atten-Mixer 在所有会话长度下均优于 GC-SAN 和 SR-GNN，尤其在长会话中优势更明显，此时信息损失更严重。
• 消融实验确认，移除 GNN 传播并增强读出模块可带来更高性能与效率，验证了 GNN 冗余性的核心假设。