[論文レビュー] Outer Product-based Neural Collaborative Filtering

Xiangnan He, Xiaoyu Du+4 more|arXiv (Cornell University)|Aug 12, 2018

Recommender Systems and Techniques参考文献 11被引用数 55

ひとこと要約

ConvNCFはユーザー・アイテム埋め込み上で外積相互作用マップを導入し、CNNを用いて高次相関を学習します。これにより、YelpとGowallaの暗黙的フィードバックデータで最先端のTop-k推奨を達成します。

ABSTRACT

In this work, we contribute a new multi-layer neural network architecture named ONCF to perform collaborative filtering. The idea is to use an outer product to explicitly model the pairwise correlations between the dimensions of the embedding space. In contrast to existing neural recommender models that combine user embedding and item embedding via a simple concatenation or element-wise product, our proposal of using outer product above the embedding layer results in a two-dimensional interaction map that is more expressive and semantically plausible. Above the interaction map obtained by outer product, we propose to employ a convolutional neural network to learn high-order correlations among embedding dimensions. Extensive experiments on two public implicit feedback data demonstrate the effectiveness of our proposed ONCF framework, in particular, the positive effect of using outer product to model the correlations between embedding dimensions in the low level of multi-layer neural recommender model. The experiment codes are available at: https://github.com/duxy-me/ConvNCF

研究の動機と目的

• 埋め込み次元間の相関を明示的にモデル化するニューラル協調フィルタリングモデルを動機づける。
• ペアワイズ embedding 次元の関係を捉える外積相互作用マップを提案する。
• 相互作用マップから高次の相関をスケーラブルな方法で学習するためにCNNを活用する。
• 暗黙フィードバックデータセットで最先端手法に対して実証的な利得を示す。

提案手法

• 1-hotエンコードされた入力から学習された特徴ベースの埋め込みを用いてユーザーとアイテムを表現する。
• 相互作用マップEを外積 p_u q_i^Tとして計算し、次元間の相関を表すKxK行列を形成する。
• 相互作用マップ上でCNNを適用して高次の相関シグナルを抽出する。
• CNNによる特徴の後に最終線形層でy_hat_uiを予測し、BPR目的で学習する。
• MFで埋め込みを事前学習し、埋め込み・CNN層・出力層に対してL2正則化を施してConvNCFモデルを微調整する。

実験結果

リサーチクエスチョン

• RQ1 ConvNCFは暗黙フィードバックデータに対して最先端の推奨法を上回ることができるか？
• RQ2 外積相互作用マップとCNNベースの層は、従来のMLP/GMFアプローチより次元間の相関の学習を改善するか？
• RQ3 畳み込み特徴マップの数はConvNCFの性能にどのように影響するか？
• RQ4 このタスクでConvNCFはMLPベースの相手よりも安定かつスケーラブルか？

主な発見

• ConvNCFは一般にYelpとGowallaデータセット全体でベースラインと比較して最高のTop-k性能を達成する。
• 外積を連結または要素ごとの積に置換すると性能が低下し、次元相関のモデリングの利点を示している。
• CNNベースのConvNCF（ConvNCF）は、同等のCNN-on-MLP（ONCF-mlp）よりも性能が良く、局所的結合設計の効率と有効性を示している。
• JRL（MLPベース）は一貫してConvNCFに劣っており、埋め込み次元間の明示的な相関の重要性を強調している。
• 各層のCNN特徴マップの数は劇的な性能低下を引き起こさずに変化でき、ConvNCFアーキテクチャの良好な一般化を示している。