[論文レビュー] Detecting Relevant Feature Interactions for Recommender Systems via Graph Neural Networks.

Yixin Su, Rui Zhang+2 more|arXiv (Cornell University)|Aug 2, 2020

Recommender Systems and Techniques参考文献 29被引用数 1

ひとこと要約

本稿では、特徴量をノード、相互作用をエッジとしてモデル化することで、推薦システムにおける関連する特徴量相互作用を検出し、それを活用するグラフニューラルネットワークモデルL0-SIGNを提案する。エッジ予測にL0正則化を用い、グラフ分類にSIGNを適用することで、統計的に意味のある、情報ボトルネック最適な相互作用に焦点を当てることで、推薦精度と解釈可能性が向上する。

ABSTRACT

Feature interactions are essential for achieving high accuracy in recommender systems (RS), so they have been taken into consideration in many existing RS, where all feature interactions are modeled. Nevertheless, not all feature interactions have positive effects for RS: modeling the irrelevant feature interactions may introduce noises and degrade the accuracy. To overcome this problem, in this work, we propose a graph neural network-based model, L0-SIGN, to detect the relevance of feature interactions and utilize only the relevant ones for RS, with features as nodes and feature interactions as edges. Generally, our model consists of two components: an L0 regularization based edge prediction model to explicitly detect relevant feature interactions; and a graph classification model, SIGN, to effectively model and aggregate the detected ones for recommendations. These two components positively influence each other to ensure that the most relevant feature interactions will be detected and modeled. In addition, we further prove that the effectiveness of our model is theoretically sound. We first show that our model is a variational approximation of information bottleneck principle, i.e., the detected feature interactions are guaranteed to be most relevant. We then show that our model follows the definition of statistical interactions, proving that the modeling of detected feature interactions in L0-SIGN is effective. Experimental results show that (i) L0-SIGN outperforms existing baselines in terms of accuracy, and (ii) the detected feature interactions are beneficial for performance gain and interpretability.

研究の動機と目的

• ノイズが多く、関連のない特徴量相互作用が推薦システムの精度を低下させることを是正すること。
• 推薦に最も関連する特徴量相互作用のみを明示的に検出する手法を開発すること。
• 検出された相互作用が統計的に意味があり、情報理論的に最適であることを保証すること。
• 予測性能に最も寄与する相互作用に焦点を当てることで、モデルの解釈可能性を向上させること。

提案手法

• 特徴量をノード、特徴量相互作用をエッジとしてモデル化し、異種グラフ構造を構築する。
• 不要な相互作用をプルーニングすることで、関連する特徴量相互作用を特定するL0正則化に基づくエッジ予測モジュールを採用する。
• 検出された相互作用を通じて情報を効果的に集約・伝達するため、SIGN（Simple Graph Convolution）モデルを統合する。
• エッジ検出と推薦予測が互いに補い合う、共同最適化フレームワークを用いる。
• 理論的分析により、検出された相互作用が情報ボトルネック原理の変分近似であることが示される。
• 検出された相互作用が形式的定義における統計的相互作用を満たすことを証明し、その関連性と有効性を保証する。

実験結果

リサーチクエスチョン

• RQ1 ノイズを低減するために、推薦システムにおいて最も関連する特徴量相互作用のみを効果的に検出できるか？
• RQ2 標準的なGNNと比較して、L0正則化の使用が意味のある特徴量相互作用の同定を改善するか？
• RQ3 検出された特徴量相互作用は、より良い推薦精度とモデルの解釈可能性をもたらすか？
• RQ4 検出された相互作用セットは、情報ボトルネックおよび統計的相互作用の原則に基づいて理論的に正当化されるか？

主な発見

• L0-SIGNは、複数のベンチマークデータセットにおいて、既存の最先端手法を上回る推薦精度を達成する。
• ノイズを低減するため、スパースだが非常に関連性の高い特徴量相互作用のサブセットに焦点を当てることで、性能向上を達成する。
• 検出された特徴量相互作用は統計的に意味があり、情報ボトルネック原理と整合することが示された。
• モデルの解釈可能性が向上し、予測に使用されるのはわずかで関連性の高い相互作用のセットに限定される。
• 理論的分析により、検出された相互作用が情報関連性および統計的有意性の観点で最適であることが確認された。
• 実験結果により、L0-SIGNフレームワークがさまざまな推薦シナリオにおいてロバストで汎用的であることが示された。