[论文解读] Improving Contrastive Learning with Model Augmentation

Zhiwei Liu, Yongjun Chen+4 more|arXiv (Cornell University)|Mar 25, 2022

Recommender Systems and Techniques被引用 12

一句话总结

该论文提出了一种新颖的对比自监督学习框架用于序列推荐，通过引入模型增强——神经元掩码、层删除和编码器互补——生成视图对，补充传统的数据增强方法。实验表明，采用模型增强的SRMA在基线模型基础上显著提升了推荐性能，尤其在数据稀疏条件下表现更优。

ABSTRACT

The sequential recommendation aims at predicting the next items in user behaviors, which can be solved by characterizing item relationships in sequences. Due to the data sparsity and noise issues in sequences, a new self-supervised learning (SSL) paradigm is proposed to improve the performance, which employs contrastive learning between positive and negative views of sequences. However, existing methods all construct views by adopting augmentation from data perspectives, while we argue that 1) optimal data augmentation methods are hard to devise, 2) data augmentation methods destroy sequential correlations, and 3) data augmentation fails to incorporate comprehensive self-supervised signals. Therefore, we investigate the possibility of model augmentation to construct view pairs. We propose three levels of model augmentation methods: neuron masking, layer dropping, and encoder complementing. This work opens up a novel direction in constructing views for contrastive SSL. Experiments verify the efficacy of model augmentation for the SSL in the sequential recommendation. Code is available\footnote{\url{https://github.com/salesforce/SRMA}}.

研究动机与目标

• 为解决序列推荐中的数据稀疏性和噪声问题，通过增强自监督学习来提升性能。
• 克服现有数据增强方法的局限性，这些方法具有启发式特征、破坏序列相关性，且无法捕捉全面的自监督信号。
• 探索模型增强作为数据增强的补充方法，用于构建更鲁棒、更具信息量的对比学习视图对。
• 开发并验证三种层次的模型增强：神经元掩码、层删除和编码器互补，以提升序列表征学习性能。

提出的方法

• 通过在相同序列上两次应用dropout，提出神经元掩码作为模型增强方法，从同一编码器层生成两个不同的视图。
• 通过在训练过程中随机移除编码器中的完整层，引入层删除方法，以生成扰动视图，强调深层与浅层特征之间的对比。
• 通过融合主模型编码器与预训练互补编码器（如GRU或Transformer）的嵌入表示，采用编码器互补方法，以捕捉多样的序列模式。
• 将模型增强与标准数据增强（如裁剪、掩码、重排）相结合，形成SRMA模型中的混合对比学习框架。
• 使用对比损失对正样本视图（通过模型/数据增强来自同一序列）进行对齐，并将负样本视图（来自不同序列）相互推开。
• 通过端到端联合优化编码器与增强机制进行模型训练，实现自适应视图生成。

实验结果

研究问题

• RQ1 在序列推荐的对比自监督学习中，模型增强是否能优于或补充数据增强，以构建更具信息量的视图对？
• RQ2 不同层次的模型增强（神经元掩码、层删除、编码器互补）如何影响表征学习与推荐性能？
• RQ3 与基于数据的扰动相比，注入基于模型的扰动是否能更好地保持序列相关性？
• RQ4 为实现性能提升，模型增强组件（如dropout概率、删除层数量、互补编码器选择）的最优配置是什么？

主要发现

• 在Sports和Toys数据集上，当dropout概率介于0.1至0.6之间时，采用神经元掩码的SRMA在所有指标上均优于SASRec，证明了基于模型的增强方法的有效性。
• 当K=2个额外的FFN层和M=1层被删除时，层删除方法达到最佳性能；而K=4时性能下降，原因在于模型复杂度增加。
• 在Sports数据集上，使用基于GRU的互补编码器性能最高；而在Toys数据集上，1层的Transformer-based编码器表现最佳，表明最优互补性具有数据集依赖性。
• 基于GRU和基于Transformer的互补编码器均持续优于不使用编码器互补的SRMA，证明在对比学习中融合多样化编码器的必要性。
• 消融实验证实，三种模型增强方法——神经元掩码、层删除和编码器互补——均独立且显著地促进性能提升。
• 将数据增强与模型增强相结合的混合方法，相比仅使用数据增强，性能更优，验证了基于模型的视图构建在对比学习中的互补作用。