[论文解读] Efficient Personalized Reranking with Semi-Autoregressive Generation and Online Knowledge Distillation

Kai Cheng, Hao Wang+5 more|arXiv (Cornell University)|Mar 7, 2026

Recommender Systems and Techniques被引用 0

一句话总结

PSAD 引入一种个性化的半自回归重排框架，结合在线知识蒸馏，在高质量生成与低延迟推理之间取得平衡，并辅以用于深度用户-物品交互的用户画像网络。

ABSTRACT

Generative models offer a promising paradigm for the final stage reranking in multi-stage recommender systems, with the ability to capture inter-item dependencies within reranked lists. However, their practical deployment still faces two key challenges: (1) an inherent conflict between achieving high generation quality and ensuring low-latency inference, making it difficult to balance the two, and (2) insufficient interaction between user and item features in existing methods. To address these challenges, we propose a novel Personalized Semi-Autoregressive with online knowledge Distillation (PSAD) framework for reranking. In this framework, the teacher model adopts a semi-autoregressive generator to balance generation quality and efficiency, while its ranking knowledge is distilled online into a lightweight scoring network during joint training, enabling real-time and efficient inference. Furthermore, we propose a User Profile Network (UPN) that injects user intent and models interest dynamics, enabling deeper interactions between users and items. Extensive experiments conducted on three large-scale public datasets demonstrate that PSAD significantly outperforms state-of-the-art baselines in both ranking performance and inference efficiency.

研究动机与目标

• 通过建模 item 之间的依赖关系来提升最终阶段重排的效果，同时保持低延迟。
• 提出半自回归生成器以平衡生成质量和效率。
• 引入在线知识蒸馏，将排序知识传递给轻量级打分器以实现快速推理。
• 开发用户画像网络以实现对用户-物品交互的深度个性化。
• 在大规模数据集上展示更优的排序性能与效率。

提出的方法

• 一个共享编码器对用户历史和候选项进行处理，对拼接的稀疏特征和密集特征进行自注意力处理。
• 半自回归生成器以大小为 K 的块构建最终列表，包含上下文增强步骤和类似指针网络的分块生成。
• 一个在线蒸馏框架在生成器（教师）和打分器（学生）并行训练，以降低推理延迟，使用蒸馏损失（KL 散度）和来自教师概率矩阵的衰减引导。
• 用户画像网络（UPN）通过个性化门控和个性化位置编码注入用户意图，以使项表示和位置偏置适配每个用户。
• 训练目标结合生成损失（点对点交叉熵和列表式铰链损失）、打分器损失以及蒸馏损失，带有平衡权重 α。

实验结果

研究问题

• RQ1 半自回归生成是否能在生成-重排的质量与延迟之间取得更好的权衡？
• RQ2 在线知识蒸馏如何在实时场景中将排序知识从生成器传递给轻量级打分器？
• RQ3 引入用户画像网络是否能提升重排中的个性化用户-物品交互？
• RQ4 个性化位置编码对捕捉用户特定兴趣动态的影响如何？

主要发现

• PSAD-G（生成器）在三个公开数据集上在排序质量方面持续优于基线。
• PSAD-S（打分器）推理速度快于所有生成基线，且性能具有竞争力，验证了在线蒸馏在降低延迟方面的有效性。
• 在线蒸馏（PSAD-S）在推理成本显著降低的情况下达到近顶级的性能，相较离线或全自回归方法。
• 带有个性化门控和个性化位置编码的 UPN 能提升用户-物品对齐并捕捉兴趣衰减模式，尤其在高活跃度用户上表现更好。
• 带上下文增强模块的半自回归生成器在依赖建模和序列连贯性方面优于一次性生成。
• 消融研究显示半自回归生成、上下文增强、个性化门控和个性化位置编码对整体性能的重要性。