[論文レビュー] Joint Neural Collaborative Filtering for Recommender Systems

Wanyu Chen, Fei Cai+2 more|arXiv (Cornell University)|Jul 8, 2019

Recommender Systems and Techniques参考文献 55被引用数 8

ひとこと要約

本稿では、共通のニューラルネットワークを用いてユーザーとアイテムの特徴学習とユーザー・アイテム間の相互作用モデリングを統合的に最適化する統合的ディープラーニングモデルであるJoint Neural Collaborative Filtering (J-NCF) を提案する。明示的および暗黙的フィードバックを統合し、ポイントワイズとペアワイズ学習を組み合わせたハイブリッド損失関数を採用することで、実世界のデータセット（MovieLens 1M や Amazon Movies など）において、HR@10 で最大10.81%、NDCG@10 で最大15.06% の向上を達成し、最先端の性能を実現した。

ABSTRACT

We propose a J-NCF method for recommender systems. The J-NCF model applies a joint neural network that couples deep feature learning and deep interaction modeling with a rating matrix. Deep feature learning extracts feature representations of users and items with a deep learning architecture based on a user-item rating matrix. Deep interaction modeling captures non-linear user-item interactions with a deep neural network using the feature representations generated by the deep feature learning process as input. J-NCF enables the deep feature learning and deep interaction modeling processes to optimize each other through joint training, which leads to improved recommendation performance. In addition, we design a new loss function for optimization, which takes both implicit and explicit feedback, point-wise and pair-wise loss into account. Experiments on several real-word datasets show significant improvements of J-NCF over state-of-the-art methods, with improvements of up to 8.24% on the MovieLens 100K dataset, 10.81% on the MovieLens 1M dataset, and 10.21% on the Amazon Movies dataset in terms of HR@10. NDCG@10 improvements are 12.42%, 14.24% and 15.06%, respectively. We also conduct experiments to evaluate the scalability and sensitivity of J-NCF. Our experiments show that the J-NCF model has a competitive recommendation performance with inactive users and different degrees of data sparsity when compared to state-of-the-art baselines.

研究の動機と目的

• 従来のコラボラティブフィルタリング手法が非線形で複雑なユーザー・アイテム相互作用を捉えることの制限を解消すること。
• 特徴学習と相互作用モデリングを別々に処理する既存のディープラーニングベースのレコメンデーションシステムの欠陥を克服すること。
• 統一されたニューラルネットワークアーキテクチャを用いて、ディープな特徴学習とディープな相互作用モデリングを統合的にトレーニングすることで、レコメンデーション性能を向上させること。
• 共同最適化とハイブリッドフィードバック統合により、データスパarsity状況や非アクティブユーザーに対してもモデルのロバスト性を高めること。
• トップ-Nレコメンデーションの目的関数に適合するように、ポイントワイズとペアワイズ学習を統合した新しい損失関数を設計すること。

提案手法

• J-NCF は二本のストリームを持つディープニューラルネットワークを採用する：一方はユーザー・アイテムのレーティング行列からユーザーおよびアイテムの表現を学習するためのもので、もう一方は学習済みの特徴を用いてユーザー・アイテム相互作用をモデリングするためのものである。
• モデルは行列因子分解を組み合わせたディープニューラルネットワークを用い、明示的レーティングと暗黙的フィードバックの両方からユーザーおよびアイテムの特徴表現を抽出する。
• ユーザー・アイテム相互作用モデリングは、特徴ベクトルを連結した入力をもとに非線形変換を用いてレーティングを予測する第二のニューラルネットワークによって実施される。
• 共同トレーニングにより相互最適化が可能となる：より良い特徴学習が相互作用予測を向上させ、より正確な相互作用モデリングが特徴表現を精緻化する。
• ポイントワイズ損失（レーティング予測用）とペアワイズ損失（ランク付け用）を組み合わせたハイブリッド損失関数が導入され、トップ-Nレコメンデーションタスクにおける性能が向上する。
• バックプロパゲーションを用いてエンドツーエンドでトレーニングされ、複数のデータセットおよびスパarsityレベルで最適なパフォーマンスを得られるようにハイパーパrameterが調整されている。

実験結果

リサーチクエスチョン

• RQ1 分離されたアプローチと比較して、ディープな特徴学習とディープな相互作用モデリングを共同でトレーニングすることは、レコメンデーション性能の向上に寄与するか？
• RQ2 明示的および暗黙的フィードバックの両方を統合することで、ニューラルコラボラティブフィルタリングモデルの性能にどのような影響を与えるか？
• RQ3 ポイントワイズとペアワイズ学習を統合したハイブリッド損失関数は、HR@10 や NDCG@10 といったランク付け指標をどの程度向上させるか？
• RQ4 データスパarsity状況や非アクティブユーザーに対して、J-NCF は最先端のベースラインと比較してどの程度の性能を示すか？
• RQ5 大規模かつスパースなデータセットにおいて、J-NCF のスケーラビリティと計算効率はどの程度か？

主な発見

• MovieLens 100K データセットにおいて、J-NCF は最先端の手法と比較して HR@10 で最大8.24%、NDCG@10 で12.42% の向上を達成した。
• MovieLens 1M データセットでは、HR@10 で10.81%、NDCG@10 で14.24% の向上を示し、より大規模で複雑なデータセットでも優れた性能を発揮した。
• Amazon Movies データセットでは、HR@10 で10.21%、NDCG@10 で15.06% の向上を達成し、多様なデータ分布に対しても高いロバスト性を示した。
• J-NCF は、すべてのユーザー活動レベルで最良のベースライン（DMF）を上回り、特に非アクティブユーザーにおいて顕著な一般化性能の向上を示した。
• 推論速度は競争力があり、1ユーザーあたりトップ10のレコメンデーションを生成するのに数ミリ秒しかかからないが、NCF よりもトレーニングコストは高い。
• 実験により、J-NCF はより深いネットワークアーキテクチャと明示的・暗黙的フィードバックの組み合わせに恩恵を受けており、ハイブリッド損失関数が性能向上に顕著な寄与をしていることが確認された。