[論文レビュー] Joint Deep Modeling of Users and Items Using Reviews for Recommendation

Lei Zheng, Vahid Noroozi+1 more|arXiv (Cornell University)|Jan 17, 2017

Recommender Systems and Techniques参考文献 31被引用数 86

ひとこと要約

DeepCoNN は レビュー本文からユーザーとアイテムを共同でモデル化する。2つの CNN と共有の相互作用レイヤーを用い、複数データセットで baselines を上回る評価予測を達成する。

ABSTRACT

A large amount of information exists in reviews written by users. This source of information has been ignored by most of the current recommender systems while it can potentially alleviate the sparsity problem and improve the quality of recommendations. In this paper, we present a deep model to learn item properties and user behaviors jointly from review text. The proposed model, named Deep Cooperative Neural Networks (DeepCoNN), consists of two parallel neural networks coupled in the last layers. One of the networks focuses on learning user behaviors exploiting reviews written by the user, and the other one learns item properties from the reviews written for the item. A shared layer is introduced on the top to couple these two networks together. The shared layer enables latent factors learned for users and items to interact with each other in a manner similar to factorization machine techniques. Experimental results demonstrate that DeepCoNN significantly outperforms all baseline recommender systems on a variety of datasets.

研究の動機と目的

• 豊富なレビュー本文を活用してレコメンダリングの sparsity を緩和する。
• レビューからユーザーの行動とアイテムの特性を共同で学習する。
• 共通の予測フレームワークでユーザー潜在因子とアイテム潜在因子を結び付ける。
• テキストとモデルを統合した joint modeling が、 diverse datasets で rating のみを用いる baselines より上回るかを評価する。

提案手法

• 二つの平行な CNN ベースのネットワーク（Net_u はユーザー用、Net_i はアイテム用）が merged reviews を latent features に処理する。
• 単語埋め込みを用いて語順を保持し、意味情報を捉える。
• 共有レイヤーとして FM（Factorization Machine）を用いて x_u と y_i を統合し、評価を予測する。
• 訓練は、ユーザー特徴とアイテム特徴の二次相互作用をモデル化する結合目的関数を最適化する。
• 事前学習済みの単語埋め込み（Google News 由来）を入力層の初期化に用い、訓練中に微調整する。
• 過学習を防ぐドロップアウトと最適化には RMSprop を使用する。

実験結果

リサーチクエスチョン

• RQ1 ユーザーとアイテムのレビューを共同でモデリングすることは、評価のみ、または別々のレビューのみを用いるベースラインを超える評価予測を実現しますか？
• RQ2 語順を保持する埋め込みと言語情報を捉える共有の相互作用レイヤーを用いることは、トピックモデルに基づく手法より性能が良くなるか？
• RQ3 オンライン学習に対してスケーラブルで、希少データ（コールドスタートシナリオ）を扱えるか？

主な発見

• DeepCoNN は Yelp, Amazon, Beer において、MSE が最も小さく、MF, PMF, LDA, CTR, HFT, CDL のベースラインを上回る。
• データセット全体の平均 MSE: MF 1.292, PMF 1.256, LDA 1.184, CTR 1.112, HFT-10 1.088, HFT-50 1.09, CDL 1.081, DeepCoNN 0.994（最良）。
• DeepCoNN は最良ベースラインより平均で 8.3% の改善を示す。
• 評価数が少ないユーザー/アイテムに対してより強い改善を示し、 sparsity とコールドスタート問題の緩和に寄与する。
• 変種分析は、ユーザーとアイテムの両方を語嵌め込みと共有 FM レイヤーでモデル化することが、単一ネットワークや TF-IDF/ランダム表現より有利であることを示す。
• DeepCoNN は多様なドメイン（Yelp、Amazon カテゴリ、Beer）でも有効である。