[论文解读] Detecting Relevant Feature Interactions for Recommender Systems via Graph Neural Networks.

Yixin Su, Rui Zhang+2 more|arXiv (Cornell University)|Aug 2, 2020

Recommender Systems and Techniques参考文献 29被引用 1

一句话总结

该论文提出 L0-SIGN，一种图神经网络模型，通过将特征建模为节点、交互作用建模为边，仅检测并利用推荐系统中的相关特征交互。通过使用 L0 正则化进行边预测，并结合 SIGN 进行图分类，该模型通过聚焦于统计上显著且信息瓶颈最优的交互，提升了推荐准确率与可解释性。

ABSTRACT

Feature interactions are essential for achieving high accuracy in recommender systems (RS), so they have been taken into consideration in many existing RS, where all feature interactions are modeled. Nevertheless, not all feature interactions have positive effects for RS: modeling the irrelevant feature interactions may introduce noises and degrade the accuracy. To overcome this problem, in this work, we propose a graph neural network-based model, L0-SIGN, to detect the relevance of feature interactions and utilize only the relevant ones for RS, with features as nodes and feature interactions as edges. Generally, our model consists of two components: an L0 regularization based edge prediction model to explicitly detect relevant feature interactions; and a graph classification model, SIGN, to effectively model and aggregate the detected ones for recommendations. These two components positively influence each other to ensure that the most relevant feature interactions will be detected and modeled. In addition, we further prove that the effectiveness of our model is theoretically sound. We first show that our model is a variational approximation of information bottleneck principle, i.e., the detected feature interactions are guaranteed to be most relevant. We then show that our model follows the definition of statistical interactions, proving that the modeling of detected feature interactions in L0-SIGN is effective. Experimental results show that (i) L0-SIGN outperforms existing baselines in terms of accuracy, and (ii) the detected feature interactions are beneficial for performance gain and interpretability.

研究动机与目标

• 解决噪声且无关的特征交互导致推荐系统准确率下降的问题。
• 开发一种方法，明确检测推荐任务中最具相关性的特征交互。
• 确保检测到的交互既具有统计意义，又在信息论上最优。
• 通过聚焦于对预测性能贡献最大的交互，提升模型的可解释性。

提出的方法

• 将特征建模为图中的节点，特征交互建模为边，形成异构图结构。
• 采用基于 L0 正则化的边预测模块，通过剪枝无关交互来识别相关特征交互。
• 集成 SIGN（Simple Graph Convolution）模型，以有效聚合和传播检测到的交互信息。
• 采用联合优化框架，使边检测与推荐预测相互增强。
• 理论分析表明，检测到的交互是信息瓶颈原理的变分近似。
• 证明了检测到的交互满足统计交互的形式定义，确保其相关性与有效性。

实验结果

研究问题

• RQ1 我们能否有效检测推荐系统中最具相关性的特征交互，以减少噪声？
• RQ2 与标准 GNN 相比，使用 L0 正则化是否能提升对有意义特征交互的识别能力？
• RQ3 检测到的特征交互是否能带来更高的推荐准确率与更好的模型可解释性？
• RQ4 检测到的交互集合是否在理论上得到信息瓶颈与统计交互原理的支持？

主要发现

• L0-SIGN 在多个基准数据集上均优于现有的最先进基线模型，推荐准确率更高。
• 该模型通过聚焦于稀疏但高度相关的特征交互子集，减少了噪声，实现了性能提升。
• 检测到的特征交互被证明具有统计意义，并与信息瓶颈原理一致。
• 模型的可解释性得到增强，因为预测中仅使用了少量相关交互。
• 理论分析确认，检测到的交互在信息相关性与统计显著性方面均为最优。
• 实证结果表明，L0-SIGN 框架在不同推荐场景下均表现出鲁棒性与泛化能力。