[論文レビュー] Detecting Beneficial Feature Interactions for Recommender Systems

Yixin Su, Rui Zhang+2 more|arXiv (Cornell University)|Aug 2, 2020

Recommender Systems and Techniques参考文献 41被引用数 9

ひとこと要約

本稿では、エッジ予測のためのL₀活性化正則化を用いて、推薦システムにおける最も有益な特徴相互作用を自動で検出し、活用するグラフニューラルネットワークモデルL₀-SIGNを提案する。この手法は、ノイズが多く無関係な相互作用をフィルタリングすることで、統計的に有意な相互作用を保持し、推薦精度を向上させる。理論的分析と複数のデータセットにおける実験的結果により検証されている。

ABSTRACT

Feature interactions are essential for achieving high accuracy in recommender systems. Many studies take into account the interaction between every pair of features. However, this is suboptimal because some feature interactions may not be that relevant to the recommendation result, and taking them into account may introduce noise and decrease recommendation accuracy. To make the best out of feature interactions, we propose a graph neural network approach to effectively model them, together with a novel technique to automatically detect those feature interactions that are beneficial in terms of recommendation accuracy. The automatic feature interaction detection is achieved via edge prediction with an L0 activation regularization. Our proposed model is proved to be effective through the information bottleneck principle and statistical interaction theory. Experimental results show that our model (i) outperforms existing baselines in terms of accuracy, and (ii) automatically identifies beneficial feature interactions.

研究の動機と目的

• 既存のモデルにおけるノイズが多く無関係な特徴相互作用が推薦精度を低下させる問題に対処すること。
• 推薦性能を最も向上させる「有益な特徴相互作用」を特定するという、新たな問題を定式化し、その解決を図ること。
• 予測に必要な特徴相互作用のみを自動で同定し、保持するモデルの開発。
• 情報ボトルネック理論および統計的相互作用理論の理論的基盤を、実用的なGNNベースの推薦フレームワークに統合すること。

提案手法

• 特徴量をノード、特徴相互作用をエッジとするグラフニューラルネットワークを用い、サンプル固有のグラフを構築する。
• L₀エッジ予測モジュールが、エッジの存在を予測することで有益な相互作用を検出する。L₀活性化正則化により、重要でないエッジがプルーニング（ゼロに設定）されるよう促進される。
• S tatistical I nteraction G raph neural N etwork (SIGN) コンponentは、検出された有益な相互作用のみをモデル化・集約し、最終的な予測を行う。
• 変分近似を用いた情報ボトルネック原理の理論的裏付けが提供され、最も関連性の高い相互作用のみが保持されることを保証する。
• 推薦精度と相互作用のスパarsity（スパarsity）を同時に最適化することで、性能とノイズ低減のバランスをとる。

実験結果

リサーチクエスチョン

• RQ1 どの特徴相互作用が推薦精度の向上に最も有益か？
• RQ2 GNNベースのモデルは、ノイズの多い相互作用を除外しながら、有益な特徴相互作用を自動で検出し、保持できるか？
• RQ3 L₀正則化の統合が、推薦システムにおける有益な特徴相互作用の選択をどのように改善するか？
• RQ4 検出された相互作用は、個々の予測に対してどの程度解釈可能な説明を提供できるか？

主な発見

• L₀-SIGNは、Frappe、Movielens、Twitter、DBLPを含むすべての評価対象データセットで、既存のベースラインを上回る推薦精度を達成した。
• 検出されたエッジ数が安定する段階で予測精度がピークに達することから、無関係な相互作用の効果的なプルーニングが行われていることが示された。
• 予測されたエッジ（有益な相互作用）を用いることで、逆転エッジ（除外された相互作用）を用いる場合よりも一貫して高い精度が得られた。これは、検出プロセスの有効性を確認するものである。
• 事例研究では、モデルが意味のある解釈可能な相互作用を同定していることが示された。例えば、「Workday」はGmailの利用と正の相関関係にあり、一方「Home」は負の相関関係にある。
• トレーニング過程においてエッジ数が急激に減少する一方で、精度が向上する傾向を示しており、L₀正則化によるノイズ低減が成功していることを裏付けている。
• 理論的分析により、L₀-SIGNの最適化手順が情報ボトルネック原理を近似していることが確認され、最も関連性の高い相互作用のみが保持されることを保証した。