[論文レビュー] Recurrent Coevolutionary Feature Embedding Processes for Recommendation

Hanjun Dai, Yichen Wang+2 more|arXiv (Cornell University)|Apr 24, 2017

Recommender Systems and Techniques参考文献 22被引用数 7

ひとこと要約

本稿では、RNNと多次元点過程を組み合わせることで、レコメンデーションシステムにおけるユーザとアイテム特徴の非線形的で時間的に変化する相互影響を捉える再帰的共進化特徴埋め込みプロセスモデルを提案する。本モデルは、最先端の手法と比較して、多様な実世界のデータセットにおいてユーザ行動予測を顕著に向上させる。

ABSTRACT

Recommender systems often use latent features to explain the behaviors of users and capture the properties of items. As users interact with different items over time, user and item features can influence each other, evolve and co-evolve over time. To accurately capture the fine grained nonlinear coevolution of these features, we propose a recurrent coevolutionary feature embedding process model, which combines recurrent neural network (RNN) with a multi-dimensional point process model. The RNN learns a nonlinear representation of user and item embeddings which take into account mutual influence between user and item features, and the feature evolution over time. We also develop an efficient stochastic gradient algorithm for learning parameters. Experiments on diverse real-world datasets demonstrate significant improvements in user behavior prediction compared to state-of-the-arts.

研究の動機と目的

• レコメンデーションシステムにおいて、時間とともに変化するユーザとアイテム特徴の動的で相互的な影響を時系列的にモデル化すること。
• 時間的相互作用を通じて、細粒度の非線形的共進化をユーザとアイテム埋め込みで捉えること。
• 大規模な相互作用データ上で、共進化モデルを効率的に学習するスケーラブルな学習アルゴリズムを開発すること。
• 相互影響を伴う特徴の変化をモデル化することで、ユーザ行動予測の精度を向上させること。

提案手法

• モデルは、時間とともに変化するユーザとアイテム埋め込みの非線形表現を学習するために再帰的ニューラルネットワーク（RNN）を採用する。
• ユーザ・アイテム相互作用のタイミングと順序を連続時間内のイベントとしてモデル化するために、多次元点過程を統合する。
• RNNは、相互作用履歴に基づいて埋め込みを更新することで、ユーザとアイテム特徴間の相互影響を捉える。
• 効率的な学習のため、確率的勾配法を用いて埋め込みの変化とイベント予測を同時に最適化する。
• 共進化プロセスは、ユーザ特徴の変化がアイテム特徴に影響を与え、逆にアイテム特徴の変化がユーザ特徴に影響を与えるフィードバックループとしてパラメータ化される。
• フレームワークは、時間的ダイナミクスをモデル化しながら、ユーザとアイテムの両方の表現をエンド・ツー・エンドで学習可能である。

実験結果

リサーチクエスチョン

• RQ1 順序付き相互作用に応じて、ユーザとアイテム特徴はどのように非線形的に時間的に共進化するか？
• RQ2 ユーザとアイテム特徴の相互影響をモデル化することで、行動予測精度はどの程度向上するか？
• RQ3 再帰的ニューラルネットワークは、変化するユーザとアイテム埋め込みの時間的ダイナミクスを効果的に捉えることができるか？
• RQ4 提案されたモデルは、実世界のデータセットにおけるユーザ行動予測において、最先端の手法と比較してどのように差をつけるか？

主な発見

• 提案されたモデルは、多様な実世界のデータセットにおいて、ユーザ行動予測性能を顕著に向上させる。
• RNNと多次元点過程の統合により、ユーザとアイテム特徴の非線形的共進化を効果的にモデル化できる。
• 特徴を独立に扱うモデルと比較して、ユーザとアイテム特徴間の相互影響をより効果的に捉えることができる。
• 確率的勾配学習アルゴリズムにより、大規模な相互作用データ上で効率的な学習が可能である。
• 結果から、特徴の共進化をモデル化することで、静的または独立して変化する埋め込みよりも優れた予測性能が得られることが示された。