[论文解读] Interaction-aware Factorization Machines for Recommender Systems

Fuxing Hong, Dongbo Huang+1 more|arXiv (Cornell University)|Feb 26, 2019

Recommender Systems and Techniques参考文献 29被引用 7

一句话总结

本文提出交互感知因子分解机（IFM），一种新型模型，通过交互感知机制（IAM）学习灵活、结构化的特征与字段级交互重要性，从而增强因子分解机。IFM利用注意力机制实现特征级重要性建模，并通过字段原型的参数化相似性，提升在稀疏推荐数据集上的性能与效率，无需特征工程，相较于SOTA方法在基准数据集上性能提升超过6%。

ABSTRACT

Factorization Machine (FM) is a widely used supervised learning approach by effectively modeling of feature interactions. Despite the successful application of FM and its many deep learning variants, treating every feature interaction fairly may degrade the performance. For example, the interactions of a useless feature may introduce noises; the importance of a feature may also differ when interacting with different features. In this work, we propose a novel model named \emph{Interaction-aware Factorization Machine} (IFM) by introducing Interaction-Aware Mechanism (IAM), which comprises the \emph{feature aspect} and the \emph{field aspect}, to learn flexible interactions on two levels. The feature aspect learns feature interaction importance via an attention network while the field aspect learns the feature interaction effect as a parametric similarity of the feature interaction vector and the corresponding field interaction prototype. IFM introduces more structured control and learns feature interaction importance in a stratified manner, which allows for more leverage in tweaking the interactions on both feature-wise and field-wise levels. Besides, we give a more generalized architecture and propose Interaction-aware Neural Network (INN) and DeepIFM to capture higher-order interactions. To further improve both the performance and efficiency of IFM, a sampling scheme is developed to select interactions based on the field aspect importance. The experimental results from two well-known datasets show the superiority of the proposed models over the state-of-the-art methods.

研究动机与目标

• 为解决标准因子分解机（FM）对所有特征交互同等对待的局限性，避免引入噪声并降低性能影响。
• 将字段级信息整合到交互重要性学习中，该信息在现有模型中常被忽略。
• 在无需人工特征工程的前提下，实现特征与字段两级的灵活、结构化交互重要性学习。
• 通过基于字段方面重要性的新型采样策略，提升模型效率与性能。
• 通过引入深度学习组件，扩展FM以联合建模低阶与高阶交互，同时保留交互信息。

提出的方法

• 提出交互感知机制（IAM），通过在成对交互向量上使用注意力网络，学习特征交互重要性。
• 利用交互向量与学习得到的字段交互原型之间的参数化相似性，建模字段级交互效应。
• 提出交互感知神经网络（INN）与DeepIFM，通过分层、因子分解表示捕捉高阶交互。
• 采用基于字段方面重要性的采样策略，优先处理重要交互，提升训练效率与性能。
• 使用Dropout与L2正则化防止过拟合，通过验证集调优超参数，平衡欠拟合与过拟合。
• 在FM与深度组件之间共享特征嵌入，以保留低阶交互信息，同时支持深度表征学习。

实验结果

研究问题

• RQ1 在特征与字段两级建模交互重要性，是否能超越标准FM，显著提升推荐性能？
• RQ2 将字段信息融入交互重要性学习，是否能提升模型在稀疏数据上的泛化能力与鲁棒性？
• RQ3 采用结构化、分层的交互学习方法，是否能有效减少无关或弱特征交互带来的噪声？
• RQ4 所提出的采样方案在不损失预测准确率的前提下，能在多大程度上提升训练效率？
• RQ5 在性能与参数效率方面，IFM相较于Frappe、AFM与DeepFM等SOTA模型表现如何？

主要发现

• IFM在Frappe与MovieLens数据集上均实现超过6%的相对性能提升，显著优于标准FM。
• 当Dropout的保留概率设置为中等值（非0或1）时，模型性能最佳，表明存在最优正则化效果。
• 在MovieLens数据集上，L2正则化使IFM性能提升约1.4%，证实其在控制字段方面学习过拟合方面的有效性。
• MovieLens数据集的最优隐藏因子数$K_F$小于Frappe，反映出数据稀疏性与字段交互复杂度的差异。
• IFM将参数复杂度降低至$O(mK)$，相较FFM的$O(mnK)$更为高效，同时保持更优性能。
• 基于字段方面重要性的采样策略同时提升了效率与性能，证明优先处理信息性交互的价值。