[論文レビュー] Neural Collaborative Filtering

Xiangnan He, Lizi Liao+4 more|arXiv (Cornell University)|Aug 16, 2017

Recommender Systems and Techniques参考文献 34被引用数 221

ひとこと要約

本論文は Neural Collaborative Filtering（NCF）を提案する。神経ネットワークベースのフレームワークで、暗黙的フィードバックのユーザー–アイテム相互作用をモデル化し、マトリクス因子分解と深層学習を統合・拡張する。GMF、MLP、NeuMF が実データセットで推奨精度を向上させることを示す。

ABSTRACT

In recent years, deep neural networks have yielded immense success on speech recognition, computer vision and natural language processing. However, the exploration of deep neural networks on recommender systems has received relatively less scrutiny. In this work, we strive to develop techniques based on neural networks to tackle the key problem in recommendation -- collaborative filtering -- on the basis of implicit feedback. Although some recent work has employed deep learning for recommendation, they primarily used it to model auxiliary information, such as textual descriptions of items and acoustic features of musics. When it comes to model the key factor in collaborative filtering -- the interaction between user and item features, they still resorted to matrix factorization and applied an inner product on the latent features of users and items. By replacing the inner product with a neural architecture that can learn an arbitrary function from data, we present a general framework named NCF, short for Neural network-based Collaborative Filtering. NCF is generic and can express and generalize matrix factorization under its framework. To supercharge NCF modelling with non-linearities, we propose to leverage a multi-layer perceptron to learn the user-item interaction function. Extensive experiments on two real-world datasets show significant improvements of our proposed NCF framework over the state-of-the-art methods. Empirical evidence shows that using deeper layers of neural networks offers better recommendation performance.

研究の動機と目的

• 暗黙的フィードバックを用いた協調フィルタリングにおけるユーザー–アイテム相互作用関数をモデル化するために深層ニューラルネットワークの活用を動機づける。
• マトリクス分解を一般化する、一般的なニューラル協調フィルタリング（NCF）フレームワークを提案する。
• GMFとMLPを用いてNCFを具体化し、両者を結合するNeuMFを提案する。
• 実世界データセット（MovieLensとPinterest）で実証的な利得を示す。
• ネットワークの深さと事前学習が性能に与える影響を分析する。

提案手法

• ユーザーとアイテムの入力をワンホット特徴として定義し、埋め込みへマッピングする。
• 相互作用関数 f をニューラルネットワークでモデリングする（GMF は線形カーネル、MLP は非線形カーネル、NeuMF は両方を融合）。
• 暗黙的フィードバックの確率的/ロジスティック損失（二値交差エントロピー）とネガティブサンプリングを用いて訓練する。
• 事前学習済みのGMFとMLPのコンポーネントから初期化する NeuMF の事前学習戦略を提供する。
• 2つのデータセットで基準MFベースの手法と推奨アプローチと比較する。

実験結果

リサーチクエスチョン

• RQ1 ニューラルネットワークは、暗黙的フィードバックに対してMFの内積を超える複雑なユーザー–アイテム相互作用を捕らえられるか？
• RQ2 より深いネットワークは推奨性能を向上させるか、GMF、MLP、NeuMF の比較はどうなるか？
• RQ3 GMFとMLPからNeuMFを事前学習させることは最適化と結果を改善するか？
• RQ4 実データセット上でNCFの各バリアントは最先端のベースラインと比べてどのように性能するか？

主な発見

Table 1: データセット統計	Table 2: NeuMF および事前学習 variants の性能（HR@10, NDCG@10）
MovieLens	1,000,209 interactions; 3,706 items; 6,040 users; 95.53% sparsity
Pinterest	1,500,809 interactions; 9,916 items; 55,187 users; 99.73% sparsity

• NeuMF は最高の性能を達成し、両データセットで eALS および BPR のベースラインを大幅に上回る。
• GMF と MLP は個別に強力で、NeuMF はそれらの融合から益を得る。
• NeuMF の事前学習はデータセットを跨いで一貫した利得を提供し、特に高い因子サイズで顕著。
• NeuMF はトップ10推奨でベースラインを上回り、HR@10 および NDCG@10 で K=1..10 の範囲で優位。
• より深いネットワーク（より多くの予測因子）は一般に性能を向上させるが、一部のケースではリターンが低減する。