[論文レビュー] Session-based Recommendations with Recurrent Neural Networks

Balázs Hidasi, Alexandros Karatzoglou+2 more|arXiv (Cornell University)|Nov 21, 2015

Recommender Systems and Techniques参考文献 15被引用数 557

ひとこと要約

この論文では、ユーザー行動の順序をモデル化することで、従来のアイテム同士の類似度手法よりも精度を向上させる、GRUに基づく再帰的ニューラルネットワークを提案している。順序付け損失関数とセッション並列ミニバッチを用いることで、実世界のデータセットにおいて、最良のベースライン比でMRR@20が最大31.49%向上した。

ABSTRACT

We apply recurrent neural networks (RNN) on a new domain, namely recommender systems. Real-life recommender systems often face the problem of having to base recommendations only on short session-based data (e.g. a small sportsware website) instead of long user histories (as in the case of Netflix). In this situation the frequently praised matrix factorization approaches are not accurate. This problem is usually overcome in practice by resorting to item-to-item recommendations, i.e. recommending similar items. We argue that by modeling the whole session, more accurate recommendations can be provided. We therefore propose an RNN-based approach for session-based recommendations. Our approach also considers practical aspects of the task and introduces several modifications to classic RNNs such as a ranking loss function that make it more viable for this specific problem. Experimental results on two data-sets show marked improvements over widely used approaches.

研究の動機と目的

• 電子商取引サイトやメディアサイトで一般的な、長期的なユーザープロファイルが利用できない状況におけるセッションベースの推薦の課題に対処すること。
• 行列分解やアイテム同士の類似度手法の限界を克服し、順序的な行動や過去のクリックを無視する点を改善すること。
• スパarsityが高く、短いセッションに特化した、スケーラビリティと実用的なデプロイを考慮した深層学習アプローチの開発。
• RNNを用いてユーザーの相互作用の完全な順序をモデル化することで、推薦精度を向上させること。

提案手法

• セッションベースの推薦タスクにおいて、順序付きユーザー行動をモデル化するために、ゲート付き再帰ユニット（GRUs）を適用する。
• 長い順序の短いユーザーセッションに対して効率的に学習できるよう、セッション並列ミニバッチを導入する。
• 大規模なアイテム集合を扱う際の計算コストを削減するため、ミニバッチベースの出力サンプリングを適用する。
• トップ-N推薦性能を最適化するため、順序に基づく損失関数（TOP1、BPR、または交差エントロピー）を用いる。
• 訓練の安定化と順序の質の向上を図るため、アイテムに対して1-of-Nエンコーディングを採用し、出力層でtanh活性化関数を用いる。
• 2つの実世界データセット（RSC15およびVIDEO）を用いて、モデルの性能を評価し、評価指標としてRecall@20およびMRR@20を用いる。

実験結果

リサーチクエスチョン

• RQ1 ユーザーのプロファイルが利用できない状況において、再帰的ニューラルネットワークは、セッションベースのユーザー行動を効果的にモデル化できるか？
• RQ2 RNNベースのアプローチは、従来のアイテム同士の類似度ベースラインと比較して、セッションベースの推薦で優れた性能を発揮するか？
• RQ3 順序に基づく損失関数（順序ベース vs. 交差エントロピー）のどちらが、セッションベースの推薦でより優れた性能と安定性をもたらすか？
• RQ4 ネットワークの深さ、GRUユニット数、活性化関数といったアーキテクチャの選択が、モデル性能に与える影響は何か？
• RQ5 入力表現（1-of-N vs. 埋め込み）と順序モデリング戦略が、推薦精度に与える影響は何か？

主な発見

• TOP1順序損失を用いたGRUベースのモデルは、RSC15データセットにおいて、最良のベースライン（アイテム-KNN）比でMRR@20が31.49%向上した。
• VIDEOデータセットでは、TOP1損失モデルが、ベースライン比でRecall@20が20.27%向上、MRR@20が15.08%向上した。
• GRUユニット数を100から1000に増加させることで、ペairワイズ損失（TOP1およびBPR）の性能が向上したが、交差エントロピー損失は1000ユニットで数値的に不安定になった。
• より深い層やGRUの後に追加の全結合層を追加しても性能向上が得られず、セッションモデリングには1つのGRU層で十分であることが示された。
• 学習済みアイテム埋め込みよりも1-of-Nエンコーディングが優れた性能を示し、最後のクリックのみを使用するのではなく、すべてのクリックの順序をモデル化することがより効果的であった。
• モデルはGPU上で数時間で効率的に学習可能であり、動的レコメンデーションシステムにおける頻繁な再トレーニングが可能である。