[論文レビュー] NeuRec: On Nonlinear Transformation for Personalized Ranking

Shuai Zhang, Lina Yao+4 more|arXiv (Cornell University)|May 8, 2018

Recommender Systems and Techniques参考文献 21被引用数 16

ひとこと要約

NeuRecは、非線形変換と潜在要因モデルを統合することで、暗黙的フィードバックを用いたパーソナライズドランク付けの性能を向上させる深層ニューラルネットワークベースの推薦モデルを提案する。ユーザーとアイテムの相互作用をユーザーベースおよびアイテムベースのニューラルネットワークでモデル化することで、パrameter数を減らしつつ最先端の性能を達成し、NDCG（正規化済み累積利益）においてベースラインを最大12.29%上回る。

ABSTRACT

Modeling user-item interaction patterns is an important task for personalized recommendations. Many recommender systems are based on the assumption that there exists a linear relationship between users and items while neglecting the intricacy and non-linearity of real-life historical interactions. In this paper, we propose a neural network based recommendation model (NeuRec) that untangles the complexity of user-item interactions and establishes an integrated network to combine non-linear transformation with latent factors. We further design two variants of NeuRec: user-based NeuRec and item-based NeuRec, by concentrating on different aspects of the interaction matrix. Extensive experiments on four real-world datasets demonstrated their superior performances on personalized ranking task.

研究の動機と目的

• パーソナライズドランク付けにおける協調フィルタリングの線形仮定の限界を解決すること。
• 暗黙的フィードバック上で、深層ニューラルネットワークを用いて複雑な非線形ユーザー・アイテム相互作用パターンをモデル化すること。
• 既存の深層学習ベースの推薦システムと比較して、パラメータ数を減らしつつランク付け性能を向上させること。
• 相互作用行列の異なる側面を探索するために、ユーザーベースおよびアイテムベースの2つの変種（U-NeuRec と I-NeuRec）を開発すること。
• 暗黙的フィードバックのシナリオにおいて、潜在要因モデルと深層ニューラルネットワークの長所を統合するフレームワークを提供すること。

提案手法

• ユーザーとアイテムの相互作用ベクトルに別々に深層ニューラルネットワークを適用する、U-NeuRec と I-NeuRec の2つの変種を提案する。
• マルチレイヤーパーセプトロン（MLP）を用いて、相互作用行列からのユーザーまたはアイテムの相互作用パターンの非線形変換を学習する。
• ニューラルネットワークの出力を潜在要因表現と統合することで、線形および非線形の関係をモデル化する。
• パーソナライズドランク付けタスクの最適化のために、BPRに類似したペairワイズランク損失を適用する。
• 隠れ層でシグモイド活性化関数を用い、出力を[0,1]に制限することで、2値の暗黙的フィードバックと整合させる。
• パラメータ数、ニューロン数、深さ、活性化関数などのハイパーパramータを最適化し、性能と一般化性能のバランスを取る。

実験結果

リサーチクエスチョン

• RQ1 BPR や SLIM といった線形モデルと比較して、非線形な深層ニューラルネットワークは、暗黙的フィードバック上でパーソナライズドランク付けの性能を向上させ得るか？
• RQ2 潜在要因モデルと深層ニューラルネットワークを統合することで、複雑なユーザー・アイテム相互作用のモデル化がどのように向上するか？
• RQ3 ニューラルネットワークアーキテクチャの違い（例：深さ、幅、活性化関数）がランク付け性能に与える影響は何か？
• RQ4 U-NeuRec と I-NeuRec が異なる性能パターンを示す理由は何か？また、その設計選択は一般化性能にどのように影響するか？
• RQ5 既存の最先端モデルよりも少ないパラメータ数で、深層ニューラルネットワークモデルが優れた性能を達成できるか？

主な発見

• NeuRecは4つの実世界データセットすべてでベースラインモデルを上回り、Movielens HetRecでは8.61%、Movielens 1Mでは12.29%のNDCG向上を達成した。
• ペアワイズ学習において、ユーザーベースの変種（U-NeuRec）がアイテムベースの変種（I-NeuRec）よりも優れた性能を示しており、これは正例と負例の独立した表現によるものと推定される。
• 最適なパフォーマンスは、潜在要因サイズが30〜50の間で達成され、より大きな次元では過学習を避けるために重要である。
• モデルの複雑さはバランスが重要であり、ニューロンが少なすぎても多すぎても、アンダーフィッティングまたは一般化性能の低下を引き起こし、ピーク性能は約150〜250ニューロンで得られる。
• シグモイド活性化関数がReLU、tanh、恒等関数を上回る性能を示しており、2値フィードバックに適応するため、出力を[0,1]に制限できる点がその理由と考えられる。
• 7層を超える深さのネットワークでは顕著な性能低下が見られ、このタスクには浅いネットワーク（3〜7層）が最適であることが示された。