[論文レビュー] ParVecMF: A Paragraph Vector-based Matrix Factorization Recommender System

Georgios Alexandridis, Georgios Siolas+1 more|arXiv (Cornell University)|Jun 22, 2017

Topic Modeling参考文献 9被引用数 8

ひとこと要約

本稿では、ParVecMFを提案する。これは、ユーザーのレビューのパラグラフベクトル埋め込みと確率的行列分解を統合することで、協調フィルタリングを向上させるハイブリッドレコメンデーションシステムである。可変長のレビューのニューラル埋め込みをユーザーおよびアイテムの潜在ベクトルに統合することで、ParVecMFは、標準的なSVDベースの行列分解よりも優れた性能を発揮する。これは、MAP@NおよびMRR@Nという指標で測定されており、ユーザーが生成するテキストフィードバックが推薦の正確性と順序付けの質を向上させることを示している。

ABSTRACT

Review-based recommender systems have gained noticeable ground in recent years. In addition to the rating scores, those systems are enriched with textual evaluations of items by the users. Neural language processing models, on the other hand, have already found application in recommender systems, mainly as a means of encoding user preference data, with the actual textual description of items serving only as side information. In this paper, a novel approach to incorporating the aforementioned models into the recommendation process is presented. Initially, a neural language processing model and more specifically the paragraph vector model is used to encode textual user reviews of variable length into feature vectors of fixed length. Subsequently this information is fused along with the rating scores in a probabilistic matrix factorization algorithm, based on maximum a-posteriori estimation. The resulting system, ParVecMF, is compared to a ratings' matrix factorization approach on a reference dataset. The obtained preliminary results on a set of two metrics are encouraging and may stimulate further research in this area.

研究の動機と目的

• レコメンデーションシステムにおける協調フィルタリングを、スコア以外のユーザー生成テキストレビューを統合することで改善すること。
• ニューラル言語モデルが、従来の語句ベースの手法よりもユーザーの好みをよりよく表現できるかどうかを調査すること。
• 最大事後確率推定フレームワーク内で、レビューのパラグラフベクトル埋め込みと行列分解を統合すること。
• 標準的な指標を用いて、テキストレビュー埋め込みの推薦パフォーマンスへの影響を評価すること。
• ユーザーのレビューの意味的特徴が、ニューラル埋め込みによって捉えられることで、行列分解における潜在表現が向上することを実証すること。

提案手法

• ユーザーのレビューが、可変長テキストの分散表現を学習するニューラル言語モデルであるパラグラフベクトル（PV-DM）モデルを用いて、固定長の密ベクトルに符号化される。
• 得られたパラグラフベクトルが、レーティング行列から学習されたユーザーおよびアイテムの潜在要因と、確率的行列分解フレームワーク内で統合される。
• 統合された表現は、最大事後確率（MAP）推定を用いて最適化され、レーティングデータとテキスト埋め込みが統一された潜在空間に統合される。
• モデルは、レーティング予測損失とパラグラフベクトル再構成損失の両方を組み合わせて、エンドツーエンドで訓練される。
• 2つのモデルを比較する：レビューを含むParVecMFと、レビューを含まない標準的なSVDベースの行列分解。
• 評価は5分割交差検証を用い、指標としてMAP@NおよびMRR@Nを用い、関連性は5段階中4以上という基準で定義される。

実験結果

リサーチクエスチョン

• RQ1 ユーザーのレビューのパラグラフベクトル埋め込みは、行列分解ベースのレコメンデーションシステムの性能を向上させることができるか？
• RQ2 潜在要因学習にユーザーが生成するテキストフィードバックを統合することで、推薦の順序付けと正確性が向上するか？
• RQ3 レーティングのみを用いた従来の協調フィルタリングと比較して、レビューからのニューラル埋め込みを組み込むことで、どのような差が生じるか？
• RQ4 高次元の潜在表現を用いる場合、レビュー埋め込みのパフォーマンス向上効果が顕著に現れるか？
• RQ5 ニューラル言語モデルは、従来のbag-of-words手法では捉えきれないレビュー内の文脈的類似性を捉えることができるか？

主な発見

• ParVecMFは、MAP@NおよびMRR@Nの両指標において、全テストされた特徴次元数において、標準的なSVDベースの行列分解を一貫して上回る性能を発揮する。
• 潜在特徴数が増加するにつれて、ParVecMFとベースラインSVDモデルとの間の性能差が拡大しており、より強い表現能力を示している。
• 平均平均精度（MAP@N）において、ParVecMFの値は、全特徴数においてベースラインSVDモデルを明確で安定したマージンで上回る。
• 平均逆順位（MRR@N）の結果から、ParVecMFはベースラインモデルよりも関連アイテムを推薦リストの上位にランク付けしていることが示された。
• 結果から、ユーザーのレビュー埋め込みが、スコア以外の意味的な好みの信号を捉え、順序付けと正確性の両方を向上させていることが示唆される。
• 本研究は、ユーザーのレビューのニューラル埋め込みが、協調フィルタリングにおける潜在表現を強化することを実証的根拠で示している。