[论文解读] Long Short-Term Temporal Meta-learning in Online Recommendation

Ruobing Xie, Yalong Wang+5 more|arXiv (Cornell University)|May 8, 2021

Recommender Systems and Techniques被引用 4

一句话总结

本文提出了一种名为长短期时序元学习（LSTTM）的新框架，用于在线推荐，通过基于GAT的聚合器联合建模用户的全局多源行为图以捕捉长期偏好，以及通过内部时序图捕捉短期偏好。该方法采用基于MAML的时序元学习策略并结合异步优化，实现对实时趋势的快速适应，在微信看点的离线与在线评估中均取得显著提升。

ABSTRACT

An effective online recommendation system should jointly capture users' long-term and short-term preferences in both users' internal behaviors (from the target recommendation task) and external behaviors (from other tasks). However, it is extremely challenging to conduct fast adaptations to real-time new trends while making full use of all historical behaviors in large-scale systems, due to the real-world limitations in real-time training efficiency and external behavior acquisition. To address these practical challenges, we propose a novel Long Short-Term Temporal Meta-learning framework (LSTTM) for online recommendation. It arranges user multi-source behaviors in a global long-term graph and an internal short-term graph, and conducts different GAT-based aggregators and training strategies to learn user short-term and long-term preferences separately. To timely capture users' real-time interests, we propose a temporal meta-learning method based on MAML under an asynchronous optimization strategy for fast adaptation, which regards recommendations at different time periods as different tasks. In experiments, LSTTM achieves significant improvements on both offline and online evaluations. It has been deployed on a widely-used online recommendation system named WeChat Top Stories, affecting millions of users.

研究动机与目标

• 解决大规模在线推荐系统中联合建模用户长期与短期偏好的挑战。
• 克服多个应用中内部与外部用户行为之间效率低下和异步性的问题。
• 在无需昂贵微调或重新训练的前提下，实现对实时趋势的快速在线适应。
• 通过最小化在线计算成本，在实际部署中实现效果与效率的平衡。

提出的方法

• 构建一个整合多源内部与外部用户行为的全局长期图，以建模稳定、长期的用户偏好。
• 构建一个聚焦于近期、任务特定行为的内部短期图，以捕捉动态、短期的兴趣。
• 应用图注意力网络（GAT）并采用不同的邻居采样策略，从两个图中学习表示。
• 设计门控机制，根据上下文自适应地融合短期与长期表示。
• 设计基于MAML的时序元学习策略，将不同时间段的推荐视为独立任务，以实现快速适应。
• 实施异步优化方案，解耦训练与推理过程，降低在线推理延迟。

实验结果

研究问题

• RQ1 推荐系统如何有效从异构的内部与外部行为中建模用户的长期与短期偏好？
• RQ2 基于MAML的时序元学习能否在计算成本极低的前提下，实现对在线推荐中新趋势的快速适应？
• RQ3 来自其他应用的外部行为在提升推荐性能方面起到什么作用，尤其是在冷启动场景下？
• RQ4 诸如基于GAT的聚合机制和多跳邻居相似性损失等架构组件对模型性能有何影响？

主要发现

• 在微信看点的在线A/B测试中，LSTTM在点击率（CTR）上实现了9.60%的相对提升，在平均点击数（ACN）上提升了9.93%。
• 模型将HCR提升了3.42%，平均停留时间增加了2.52%，表明用户参与度与满意度显著提升。
• 时序MAML组件在新话题波动剧烈的时期（如第2和第3阶段）显著提升了性能。
• 移除全局长期图（即外部行为）后性能出现明显下降，证实了多源行为融合的价值。
• 基于门控的融合机制优于简单拼接，实现了更个性化且高效的表示组合。
• 消融实验表明，基于GAT的聚合机制和多跳邻居相似性损失对捕捉多样化且动态演化的用户偏好至关重要。