[论文解读] GraphFM: Graph Factorization Machines for Feature Interaction Modeling

Shu Wu, Zekun Li+4 more|arXiv (Cornell University)|May 25, 2021

Advanced Graph Neural Networks参考文献 57被引用 14

一句话总结

GraphFM 提出了一种新颖的图因子分解机，通过从有益的特征对构建动态交互图，将 FM 的潜在向量交互与 GNN 风格的邻域聚合相结合，以建模高阶特征交互，从而提升点击率（CTR）预测性能。该模型通过自适应边选择机制显式学习有意义的交互，同时过滤噪声，实现了最先进（SOTA）的性能表现。

ABSTRACT

Factorization machine (FM) is a prevalent approach to modeling pairwise (second-order) feature interactions when dealing with high-dimensional sparse data. However, on the one hand, FM fails to capture higher-order feature interactions suffering from combinatorial expansion. On the other hand, taking into account interactions between every pair of features may introduce noise and degrade prediction accuracy. To solve the problems, we propose a novel approach, Graph Factorization Machine (GraphFM), by naturally representing features in the graph structure. In particular, we design a mechanism to select the beneficial feature interactions and formulate them as edges between features. Then the proposed model, which integrates the interaction function of FM into the feature aggregation strategy of Graph Neural Network (GNN), can model arbitrary-order feature interactions on the graph-structured features by stacking layers. Experimental results on several real-world datasets have demonstrated the rationality and effectiveness of our proposed approach. The code and data are available at https://github.com/CRIPAC-DIG/GraphCTR}{https://github.com/CRIPAC-DIG/GraphCTR

研究动机与目标

• 解决因子分解机（FM）在建模高阶特征交互时因组合爆炸及无关成对交互带来的噪声而产生的局限性。
• 通过实现显式、可解释的特征交互建模，克服基于深度学习的 FM 变体中隐式、按位学习的高阶交互方式。
• 利用图神经网络（GNNs）进行结构化特征交互学习，同时通过动态边构建确保仅建模有益的交互。
• 通过可视化学习到的交互图和边权重，提供人类可读的模型预测解释。
• 通过实证验证交互阶数和邻域大小对模型性能的影响。

提出的方法

• 将特征表示为图中的节点，将成对特征交互表示为边，边权重通过可微的交互选择机制学习。
• 将 FM 的基于内积的交互函数整合进 GNN 风格的消息传递框架中，实现跨层的交互聚合。
• 采用多层架构，每层建模更高阶的交互，交互阶数随深度增加而提升。
• 在每层应用 top-k 选择策略，仅保留最有益的特征交互（例如，二阶交互保留 top-7，三阶交互保留 top-4 等），以减少噪声和计算成本。
• 使用可微损失函数端到端训练模型，实现特征嵌入与交互权重的联合优化。
• 可视化各层学习到的边权重，以解释模型决策并验证所选交互的合理性。

实验结果

研究问题

• RQ1 图结构化的特征交互表示能否在有效过滤无关或噪声成对交互的同时，有效建模高阶交互？
• RQ2 图网络的深度在多大程度上影响模型捕捉日益复杂特征交互的能力？
• RQ3 每层选择的交互数量在多大程度上影响模型性能与泛化能力？
• RQ4 学习到的交互图能否为模型预测提供人类可解释的解释？
• RQ5 在多种真实世界数据集上，GraphFM 与现有 SOTA 模型相比，在预测准确性和鲁棒性方面表现如何？

主要发现

• GraphFM 在多个真实世界数据集（包括 MovieLens-1M 和 Criteo）上优于最先进基线模型，在 AUC 和 log-loss 指标上均取得显著提升。
• 当每层采样的交互数量经过仔细调优时，模型达到峰值性能，最优设置约为 MovieLens-1M 上的 m₂×m₃ ≈ 9。
• 边权重可视化显示，二阶交互大多有益，而更高阶交互（三阶与四阶）更具选择性且在不同样本间重叠度较低，表明有效过滤了冗余组合。
• 模型成功识别出有意义的特征组合（如性别与年龄、观看时长、类型等），为预测提供了可解释的推理依据。
• 在正确预测的样本中，高阶交互具有多样性和上下文特异性；而在误分类样本中，交互重叠或冗余更为常见，验证了模型选择机制的有效性。
• 消融实验表明，交互阶数和建模的交互数量均显著影响性能，当邻域过大或过小时均出现收益递减现象。