[論文レビュー] Deep Coevolutionary Network: Embedding User and Item Features for Recommendation

Hanjun Dai, Yichen Wang+2 more|arXiv (Cornell University)|Sep 13, 2016

Recommender Systems and Techniques参考文献 32被引用数 74

ひとこと要約

本稿では、多変量点過程フレームワーク内での再帰的ニューラルネットワーク（RNN）を用いて、非線形かつ時間に依存するユーザーとアイテムの特徴間の相互作用をモデル化する、深層的共進化ネットワークであるDeepCoevolveを提案する。このモデルは非パrametricで動的な埋め込みを用いてユーザーとアイテムの相互影響を捉え、時間に敏感な推薦およびアクティビティ予測タスクで最先端の性能を達成する。

ABSTRACT

Recommender systems often use latent features to explain the behaviors of users and capture the properties of items. As users interact with different items over time, user and item features can influence each other, evolve and co-evolve over time. The compatibility of user and item's feature further influence the future interaction between users and items. Recently, point process based models have been proposed in the literature aiming to capture the temporally evolving nature of these latent features. However, these models often make strong parametric assumptions about the evolution process of the user and item latent features, which may not reflect the reality, and has limited power in expressing the complex and nonlinear dynamics underlying these processes. To address these limitations, we propose a novel deep coevolutionary network model (DeepCoevolve), for learning user and item features based on their interaction graph. DeepCoevolve use recurrent neural network (RNN) over evolving networks to define the intensity function in point processes, which allows the model to capture complex mutual influence between users and items, and the feature evolution over time. We also develop an efficient procedure for training the model parameters, and show that the learned models lead to significant improvements in recommendation and activity prediction compared to previous state-of-the-arts parametric models.

研究の動機と目的

• 推薦システムにおけるユーザーとアイテムの潜在的特徴の非線形的かつ時間に依存する共進化をモデル化すること。
• 特徴の進化に関する関数形を固定すると仮定するパrametricモデルの制限を克服すること。
• エポックベースまたは線形モデルでは実現不可能な、将来のユーザー・アイテム相互作用の正確な時間予測を可能にすること。
• 進化する相互作用ネットワークから得られる相互依存的でi.i.d.でないデータに対して、RNNベースのモデルの効率的な学習手順を開発すること。
• ユーザーとアイテム間の複雑で動的な相互作用を捉えることで、推薦精度とアクティビティ予測を向上させること。

提案手法

• モデルは多変量点過程を用い、ユーザー・アイテムの相互作用を連続時間におけるイベントとして扱い、強度関数を進化する相互作用グラフ上のRNNによって定義する。
• ユーザーとアイテムの埋め込みは、各相互作用時刻において、自己進化、共進化、文脈（相互作用特徴）、自己ドリフトを捉える非線形RNNを用いて更新される。
• RNNは過去の相互作用の系列を処理し、お互いのユーザーとアイテムの特徴が互いに及ぼす動的な影響を学習する。
• 共進化ネットワークにおけるサンプルの依存関係に対処するための確率的学習アルゴリズムが開発され、スケーラブルな最適化を可能にする。
• 強力な関数形の仮定を避けるために、強度関数を非パラメトリックにパラメータ化する。
• フレームワークはアイテム予測と到着時刻予測の両方をサポートし、時間に敏感な推薦を実現する。

実験結果

リサーチクエスチョン

• RQ1 ユーザーとアイテムの潜在的特徴の非線形的かつ時間に依存する共進化を、相互影響を捉える形でモデル化する方法は何か？
• RQ2 RNNを用いたディープラーニングアプローチは、ユーザー・アイテム相互作用系列の複雑で非パラメトリックな動的挙動を効果的にモデル化できるか？
• RQ3 進化する相互作用ネットワークから得られる大規模で相互依存的でi.i.d.でないデータに対して、このようなモデルを効率的に学習する方法は何か？
• RQ4 提案されたモデルは、時間に敏感な推薦タスクにおいて、既存のパラメトリックモデルや線形モデルを上回る性能を示すか？
• RQ5 特徴の共進化的性質を捉えることで、アイテム予測および相互作用時刻予測の両方の予測精度がどの程度向上するか？

主な発見

• DeepCoevolveは、最先端のパラメトリックモデルと比較して、推薦精度およびアクティビティ予測において顕著な向上を達成する。
• モデルは、大多数の先行研究が対応できない将来の相互作用の到着時刻の正確な予測を可能にする。
• 非パラメトリックなRNNベースの強度関数は、線形モデルや固定パラメータのモデルよりも、複雑で非線形的な共進化的動的挙動をより効果的に捉える。
• 確率的学習手順により、RNNコンponentsを備えた大規模な相互作用ネットワークに対しても、スケーラブルで取り扱いやすいモデルが実現される。
• 複数のデータセットにわたって一貫して優れた性能を示し、動的で相互依存的な特徴の進化をモデル化することが重要であることが明らかになった。
• フレームワークは線形Hawkes過程よりも表現力が高く、多変量かつ共進化する状況ではRMTPPなどのモデルを上回る性能を発揮する。