[论文解读] Data Augmentation Strategies for Improving Sequential Recommender Systems

Joo-yeong Song, Bongwon Suh|arXiv (Cornell University)|Mar 26, 2022

Recommender Systems and Techniques被引用 5

一句话总结

本文提出了一套直接在序列级别进行数据增强的策略——噪声注入（Noise Injection）、冗余注入（Redundancy Injection）、项目掩码（Item Masking）和同义词替换（Synonym Replacement），以提升基于深度学习的序列推荐系统性能。实验表明，这些方法在训练数据有限时能显著提升性能，增强模型泛化能力，并在与先前方法的对比中取得更具竞争力的结果。

ABSTRACT

Sequential recommender systems have recently achieved significant performance improvements with the exploitation of deep learning (DL) based methods. However, although various DL-based methods have been introduced, most of them only focus on the transformations of network structure, neglecting the importance of other influential factors including data augmentation. Obviously, DL-based models require a large amount of training data in order to estimate parameters well and achieve high performances, which leads to the early efforts to increase the training data through data augmentation in computer vision and speech domains. In this paper, we seek to figure out that various data augmentation strategies can improve the performance of sequential recommender systems, especially when the training dataset is not large enough. To this end, we propose a simple set of data augmentation strategies, all of which transform original item sequences in the way of direct corruption and describe how data augmentation changes the performance. Extensive experiments on the latest DL-based model show that applying data augmentation can help the model generalize better, and it can be significantly effective to boost model performances especially when the amount of training data is small. Furthermore, it is shown that our proposed strategies can improve performances to a better or competitive level to existing strategies suggested in the prior works.

研究动机与目标

• 探究数据增强是否能提升基于深度学习的序列推荐系统性能，特别是在训练数据有限的情况下。
• 提出一套简单但有效的直接序列级别数据增强策略，通过基于污染的变换方式直接操作原始项目序列。
• 评估不同增强技术对多种数据集和模型架构下模型泛化能力与性能的影响。
• 证明数据增强可作为一种通用的预处理技术，显著提升序列推荐系统性能，尤其在冷启动场景下。

提出的方法

• 提出四种直接的序列级别数据增强策略：噪声注入（随机插入项目）、冗余注入（复制项目）、项目掩码（用特殊标记替换项目）以及同义词替换（基于共现关系，用语义相似的项目替换）。
• 通过在输入序列中修改原始用户交互序列，将这些策略应用于序列推荐模型的输入数据，输入至最先进的序列推荐模型。
• 采用滑动窗口（SW）和子集选择（SS）策略作为基线进行比较，其中SW策略展现出更稳定的性能提升。
• 使用标准评估指标（如Recall@K和MRR@K）在多个数据集（如MovieLens-1M、Amazon Games）上衡量性能。
• 通过消融研究分析增强规模对性能的影响，通过调整每条原始序列生成的增强样本数量进行实验。
• 固定模型架构，仅通过数据增强修改训练数据，从而隔离预处理对性能的影响。

实验结果

研究问题

• RQ1 数据增强能否提升基于深度学习的序列推荐系统性能？
• RQ2 不同数据增强策略如何影响模型泛化能力与性能，特别是在低数据条件下？
• RQ3 数据增强的规模是否会影响性能增益？性能增益在何时达到饱和？
• RQ4 所提出的直接序列操作策略与基于子序列选择的先前方法相比表现如何？

主要发现

• 数据增强显著提升了模型性能，尤其在训练数据较少时，例如在10%数据规模下，使用噪声注入在Amazon Games数据集上实现了高达+34.6%的性能提升。
• 性能提升与数据增强规模成正比，随着数据集规模增大，增益趋于饱和，表明在大规模数据下收益递减。
• 噪声注入（NI）和滑动窗口（SW）策略在多个数据集上均表现出最一致且显著的性能提升，其中NI在10%数据规模下于Amazon Games数据集上实现+34.6%的性能提升。
• 项目掩码（IM）和同义词替换（SR）结果更具波动性，其中IM因信息丢失而表现较差，而SR则表现出中等程度的增益。
• 即使在100%完整数据集规模下，数据增强仍能带来可测量的性能提升（例如在MovieLens-1M数据集上MRR@10提升+2.5%），表明在大规模数据场景下仍具持续优势。
• 所提策略在性能上达到或优于先前基于子序列选择的方法，证明其作为通用预处理技术的有效性。