[论文解读] Detecting Beneficial Feature Interactions for Recommender Systems

Yixin Su, Rui Zhang+2 more|arXiv (Cornell University)|Aug 2, 2020

Recommender Systems and Techniques参考文献 41被引用 9

一句话总结

该论文提出 L₀-SIGN，一种图神经网络模型，通过使用 L₀ 激活正则化实现边预测，自动检测并利用推荐系统中最具益处的特征交互。该方法通过过滤掉噪声和无关的交互，同时保留具有统计显著性的交互，从而提高推荐准确率，理论分析与多数据集上的实证结果均验证了其有效性。

ABSTRACT

Feature interactions are essential for achieving high accuracy in recommender systems. Many studies take into account the interaction between every pair of features. However, this is suboptimal because some feature interactions may not be that relevant to the recommendation result, and taking them into account may introduce noise and decrease recommendation accuracy. To make the best out of feature interactions, we propose a graph neural network approach to effectively model them, together with a novel technique to automatically detect those feature interactions that are beneficial in terms of recommendation accuracy. The automatic feature interaction detection is achieved via edge prediction with an L0 activation regularization. Our proposed model is proved to be effective through the information bottleneck principle and statistical interaction theory. Experimental results show that our model (i) outperforms existing baselines in terms of accuracy, and (ii) automatically identifies beneficial feature interactions.

研究动机与目标

• 为解决现有模型中噪声和无关特征交互导致推荐准确率下降的问题。
• 提出并解决检测‘有益特征交互’这一新问题——即最能提升推荐性能的交互。
• 开发一种模型，自动识别并仅保留对预测最有相关性的特征交互。
• 将信息瓶颈理论与统计交互理论的理论基础整合到基于图神经网络的实用推荐框架中。

提出的方法

• 该模型使用图神经网络，其中特征为节点，特征交互为边，形成样本特定的图结构。
• 通过 L₀ 边预测模块检测有益交互，即通过预测边的存在性来实现，结合 L₀ 激活正则化，促使不重要的边被剪枝（设为零）。
• 统计交互图神经网络（SIGN）组件仅对检测到的有益交互进行建模与聚合，以生成最终预测结果。
• 通过信息瓶颈原理的变分近似提供理论依据，确保仅保留最相关的交互。
• 联合优化推荐准确率与交互稀疏性，平衡性能与噪声减少。

实验结果

研究问题

• RQ1 哪些特征交互对提升推荐准确率最具益处？
• RQ2 基于图神经网络的模型能否自动检测并仅保留最相关的特征交互，同时剔除噪声？
• RQ3 L₀ 正则化如何改善推荐系统中对有益特征交互的选择？
• RQ4 所检测到的交互在多大程度上能为个体预测提供可解释的说明？

主要发现

• L₀-SIGN 在所有评估数据集（包括 Frappe、Movielens、Twitter 和 DBLP）上均优于现有基线模型，推荐准确率更高。
• 当检测到的边数趋于稳定时，模型达到最高预测准确率，表明对无关交互的剪枝有效。
• 使用预测边（检测到的有益交互）的准确率始终高于使用反向边（被排除的交互），证实了检测机制的有效性。
• 案例研究显示，模型识别出有意义且可解释的交互——例如，'Workday' 与 Gmail 使用正相关，而 'Home' 与之负相关。
• 在训练过程中，边数迅速减少，同时准确率持续上升，表明 L₀ 正则化成功实现了噪声过滤。
• 理论分析表明，L₀-SIGN 的优化过程近似于信息瓶颈原理，确保仅保留最相关的交互。