[论文解读] MOI-Mixer: Improving MLP-Mixer with Multi Order Interactions in Sequential Recommendation

Hojoon Lee, Dongyoon Hwang+4 more|arXiv (Cornell University)|Aug 17, 2021

Recommender Systems and Techniques参考文献 38被引用 4

一句话总结

该论文提出MOI-Mixer，一种序列推荐模型，通过引入多阶交互（MOI）层来显式捕捉高阶特征交互，从而增强MLP-Mixer。通过用可建模任意阶交互但保持线性复杂度的MOI层替代标准MLP层，MOI-Mixer在长序列设置下实现了与基于Transformer的模型相当的性能，同时避免了二次方计算成本。

ABSTRACT

Successful sequential recommendation systems rely on accurately capturing the user's short-term and long-term interest. Although Transformer-based models achieved state-of-the-art performance in the sequential recommendation task, they generally require quadratic memory and time complexity to the sequence length, making it difficult to extract the long-term interest of users. On the other hand, Multi-Layer Perceptrons (MLP)-based models, renowned for their linear memory and time complexity, have recently shown competitive results compared to Transformer in various tasks. Given the availability of a massive amount of the user's behavior history, the linear memory and time complexity of MLP-based models make them a promising alternative to explore in the sequential recommendation task. To this end, we adopted MLP-based models in sequential recommendation but consistently observed that MLP-based methods obtain lower performance than those of Transformer despite their computational benefits. From experiments, we observed that introducing explicit high-order interactions to MLP layers mitigates such performance gap. In response, we propose the Multi-Order Interaction (MOI) layer, which is capable of expressing an arbitrary order of interactions within the inputs while maintaining the memory and time complexity of the MLP layer. By replacing the MLP layer with the MOI layer, our model was able to achieve comparable performance with Transformer-based models while retaining the MLP-based models' computational benefits.

研究动机与目标

• 为解决尽管MLP模型具有计算优势，但在序列推荐任务中其性能仍落后于基于Transformer的模型这一问题。
• 探究显式高阶特征交互是否能够弥合序列推荐中基于MLP与基于Transformer模型之间的性能差距。
• 设计一种新型层，以捕捉任意阶交互，同时保持线性内存与时间复杂度。
• 评估高阶交互在通道混合操作中对长序列建模的有效性。

提出的方法

• 提出多阶交互（MOI）层，采用受PARAFAC启发的张量分解方法，对输入特征之间的任意阶交互进行建模。
• 将MOI层集成到MLP-Mixer架构中，替换令牌混合和通道混合组件中的标准MLP层。
• 采用参数高效设计，通过超参数k控制交互阶数，实现对特征交互的灵活建模。
• 使用Hadamard积和残差连接，以保持训练过程中的梯度流动与稳定性。
• 基于消融实验结果，选择在MOI层的Hadamard积后应用LayerNorm，该设置表现优于其他归一化位置。
• 适配了位置嵌入，但发现其无效，原因在于MOI层本身已通过其交互机制天然具备序列顺序敏感性。

实验结果

研究问题

• RQ1 显式高阶特征交互是否能够弥合基于MLP与基于Transformer的模型在序列推荐中的性能差距？
• RQ2 在通道混合层中建模更高阶交互是否能提升推荐准确率？
• RQ3 能否在保持线性计算复杂度的同时，捕捉到与自注意力机制相当的复杂交互？
• RQ4 交互阶数（k）在架构不同组件中的影响如何？
• RQ5 在本身具备序列顺序感知能力的MLP模型中，位置嵌入是否必要？

主要发现

• MOI-Mixer在ML-1m数据集上达到NDCG@10为0.4873，优于基线MLP-Mixer，并与最先进基于Transformer的模型持平。
• 通道混合层中采用二阶交互（k=2）时性能最佳，进一步提高阶数反而导致性能下降。
• 在令牌混合器中用单一线性层替代MLP层，仅使NDCG@10降低0.3%，但引入了二次方复杂度，限制了可扩展性。
• 即使在序列长度达1000时，该模型仍保持线性FLOPs与VRAM使用量，而BERT4Rec与gMLP则呈现二次方增长。
• 在MOI层中，Hadamard积后应用归一化效果最佳；而Layer Scale与L2归一化未带来收益，甚至导致性能下降。
• 位置嵌入无法提升性能，因为MOI层已通过其交互机制天然捕获了序列顺序。