[论文解读] MAMO: Memory-Augmented Meta-Optimization for Cold-start Recommendation

Manqing Dong, Yuan Feng+3 more|arXiv (Cornell University)|Jul 7, 2020

Recommender Systems and Techniques参考文献 35被引用 14

一句话总结

该论文提出MAMO，一种用于冷启动推荐的记忆增强元优化框架，通过使用两个共享的内存矩阵——针对特征的内存用于个性化参数初始化，针对任务的内存用于快速偏好预测。通过从少量交互中学习，MAMO在两个基准数据集上优于最先进方法，展示了在冷启动场景下更强的泛化能力和更快的收敛速度。

ABSTRACT

A common challenge for most current recommender systems is the cold-start problem. Due to the lack of user-item interactions, the fine-tuned recommender systems are unable to handle situations with new users or new items. Recently, some works introduce the meta-optimization idea into the recommendation scenarios, i.e. predicting the user preference by only a few of past interacted items. The core idea is learning a global sharing initialization parameter for all users and then learning the local parameters for each user separately. However, most meta-learning based recommendation approaches adopt model-agnostic meta-learning for parameter initialization, where the global sharing parameter may lead the model into local optima for some users. In this paper, we design two memory matrices that can store task-specific memories and feature-specific memories. Specifically, the feature-specific memories are used to guide the model with personalized parameter initialization, while the task-specific memories are used to guide the model fast predicting the user preference. And we adopt a meta-optimization approach for optimizing the proposed method. We test the model on two widely used recommendation datasets and consider four cold-start situations. The experimental results show the effectiveness of the proposed methods.

研究动机与目标

• 解决推荐系统中的冷启动问题，即新用户或新项目缺乏足够的交互数据。
• 克服模型无关元学习（MAML）仅使用单一全局初始化所带来的局限性，该方法可能导致具有不同偏好模式的用户陷入局部最优。
• 通过引入外部记忆机制中的个性化偏差和快速权重，提升收敛速度和推荐准确性。
• 设计一种元优化框架，利用用户画像和偏好记忆共同指导参数初始化与预测过程。

提出的方法

• 引入一个针对特征的内存矩阵，用于存储用户画像嵌入和快速梯度，实现在模型参数初始化阶段的个性化偏差。
• 采用基于用户画像与存储的画像内存之间相似性的检索机制，动态关注相关内存向量。
• 设计一个针对任务的内存立方体，用于存储跨项目的共享偏好模式，作为快速权重以加速推理并减少对完整模型微调的依赖。
• 采用元优化策略，联合训练记忆网络的全局参数和推荐模型参数，以最小化用户任务上的损失。
• 集成受神经图灵机启发的记忆读写机制，通过基于注意力的访问方式，使用从用户和项目特征中提取的查询向量访问内存行。
• 采用双内存架构，其中针对特征的内存用于引导初始化，而针对任务的内存则提升预测速度与准确性。

实验结果

研究问题

• RQ1 与标准的基于MAML的方法相比，记忆增强的元优化框架是否能在冷启动场景下提升推荐性能？
• RQ2 使用针对特征的内存是否能减少元学习中因次优全局初始化导致的收敛问题？
• RQ3 在不存储完整模型状态的前提下，针对任务的内存在多大程度上可作为快速权重以加速预测？
• RQ4 该方法在不同冷启动设置（包括用户冷启动和项目冷启动）下的有效性如何？

主要发现

• 在所有四种冷启动场景下，MAMO在两个广泛使用的推荐数据集上均达到最先进性能，包括用户冷启动和项目冷启动。
• 针对特征的内存显著提升了收敛速度，并通过为偏好模式差异较大的用户实现个性化初始化，降低了陷入局部最优的风险。
• 针对任务的内存立方体作为有效的快速权重，可在极少参数更新下快速适应新用户偏好。
• 实验表明，MAMO在冷启动设置下，无论是准确率还是鲁棒性，均优于现有的元学习基线方法（如MAML和MAML++）。
• 消融实验确认，两种内存组件均独立且协同地促进性能提升，其中针对特征的内存对收敛性的改善作用更为显著。