[論文レビュー] Modeling Embedding Dimension Correlations via Convolutional Neural Collaborative Filtering

Xiaoyu Du, Xiangnan He+4 more|arXiv (Cornell University)|Jun 26, 2019

Recommender Systems and Techniques参考文献 64被引用数 5

ひとこと要約

本論文では、ユーザーとアイテムの埋め込みの外積を適用し、その後に畳み込みニューラルネットワーク（CNN）を用いて埋め込み次元間の相関を学習する、ConvNCFと呼ばれる新しいニューラル協調フィルタリングフレームワークを提案する。この手法は、実世界のデータセットにおいて既存のCFモデルを著しく上回り、埋め込み次元間の相関を明示的にモデル化することで推薦精度が向上することを示している。

ABSTRACT

As the core of recommender system, collaborative filtering (CF) models the affinity between a user and an item from historical user-item interactions, such as clicks, purchases, and so on. Benefited from the strong representation power, neural networks have recently revolutionized the recommendation research, setting up a new standard for CF. However, existing neural recommender models do not explicitly consider the correlations among embedding dimensions, making them less effective in modeling the interaction function between users and items. In this work, we emphasize on modeling the correlations among embedding dimensions in neural networks to pursue higher effectiveness for CF. We propose a novel and general neural collaborative filtering framework, namely ConvNCF, which is featured with two designs: 1) applying outer product on user embedding and item embedding to explicitly model the pairwise correlations between embedding dimensions, and 2) employing convolutional neural network above the outer product to learn the high-order correlations among embedding dimensions. To justify our proposal, we present three instantiations of ConvNCF by using different inputs to represent a user and conduct experiments on two real-world datasets. Extensive results verify the utility of modeling embedding dimension correlations with ConvNCF, which outperforms several competitive CF methods.

研究の動機と目的

• 既存のニューラルレコメンデーションモデルが埋め込み次元間の相関を無視するという限界に対処すること。
• 埋め込み次元間のペアワイズおよび高次相互作用を明示的にモデル化することで、協調フィルタリングの表現力の向上を図ること。
• 最先端の手法を凌駕する汎用性の高いニューラル協調フィルタリングフレームワークの開発。

提案手法

• ユーザーとアイテムの埋め込みの間の外積を適用し、埋め込み次元全体にわたるペアワイズ相関を捉えた2次元の相互作用マップを生成すること。
• 相互作用マップの上に、埋め込み次元間の高次相関を学習する多層畳み込みニューラルネットワーク（CNN）を設けること。
• ユーザーの入力表現として、MF、GMF、およびハイブリッドバージョンを用いた、ConvNCFの3つの実装形態を設計すること。
• 完全結合ネットワークよりもパラメータが少ないため、相互作用マップの空間的パターンを効率的にモデル化できる局所接続型CNNアーキテクチャを採用すること。
• 確率的勾配降下法を用いてエンドツーエンドでモデルを学習し、収束を早めるために事前学習済みの埋め込みを活用することで、性能向上を図ること。
• 外積とCNNコンponentsの有効性を検証するため、ONCF-mlpや標準的なMLPベースのモデルをベースラインとして用いたアブレーションスタディを実施すること。

実験結果

リサーチクエスチョン

• RQ1 埋め込み次元間の相関をモデル化することで、推薦システムにおける協調フィルタリングの性能向上が図れるか？
• RQ2 提案されたConvNCFフレームワークは、既存のニューラル協調フィルタリング手法と比較して、推薦精度においてどのように異なるか？
• RQ3 相互作用マップ上で高次特徴相互作用を学習する際、CNNと完全結合ネットワークのどちらが優れているか？
• RQ4 埋め込み層を事前学習することで、ConvNCFの性能と収束速度が向上するか？
• RQ5 CNN層におけるフィーチャーマップの数の変化に対して、ConvNCFはどれほど頑健か？

主な発見

• ConvNCFは2つの実世界データセットにおいて、複数の競合する協調フィルタリング手法を上回り、トップ-k推薦タスクで最先端の性能を達成した。
• 相互作用マップ上でのCNNベースのアプローチは、1000倍も多くのパラメータを持つ3層MLPを著しく上回り、局所接続性が相互作用マップのモデル化において効率的で効果的であることを示している。
• 訓練エポック全体にわたり安定的かつ一貫した性能を示しており、深層MLPベースラインと比較して、ばらつきが小さく、頑健であることが示された。
• CNN層におけるフィーチャーマップの数を増やすことで性能が向上し、同じ最適水準に収束する傾向にあり、強力な一般化性能と低過学習リスクを示唆している。
• Fine-tuningの前に埋め込み層を事前学習することで、収束が速くなり、性能も向上した。これは、確立されたモデルから表現を初期化することの価値を裏付けている。
• アブレーションスタディの結果、外積とCNNコンponentの両方が性能向上に不可欠であり、それぞれが最終的な推薦精度に顕著な寄与をしていることが確認された。