[論文レビュー] Recurrent Neural Networks for Long and Short-Term Sequential Recommendation

Kiewan Villatel, Elena Smirnova+2 more|arXiv (Cornell University)|Jul 23, 2018

Recommender Systems and Techniques参考文献 19被引用数 14

ひとこと要約

この論文は、eコマースデータセットにおける短期および長期の順序推薦の両方において、再帰的ニューラルネットワーク（RNN）の性能を評価し、層正則化と結合されたアイテム埋め込みを用いたスタックドGRUモデルがベースラインを上回ることを示している。最良の設定では、特に長期のシーケンスにおいて顕著な向上が得られ、RNNが即時の行動と遠く離れたユーザーの行動の両方をモデル化できる能力を確認した。

ABSTRACT

Recommender systems objectives can be broadly characterized as modeling user preferences over short-or long-term time horizon. A large body of previous research studied long-term recommendation through dimensionality reduction techniques applied to the historical user-item interactions. A recently introduced session-based recommendation setting highlighted the importance of modeling short-term user preferences. In this task, Recurrent Neural Networks (RNN) have shown to be successful at capturing the nuances of user's interactions within a short time window. In this paper, we evaluate RNN-based models on both short-term and long-term recommendation tasks. Our experimental results suggest that RNNs are capable of predicting immediate as well as distant user interactions. We also find the best performing configuration to be a stacked RNN with layer normalization and tied item embeddings.

研究の動機と目的

• 短期および長期の順序推薦タスクの両方において、RNNベースのモデルの性能を評価すること。
• 最先端のRNN改善手法（層正則化と結合された埋め込み）が、時間軸の両方で性能向上をもたらすかどうかを調査すること。
• 実世界のeコマースデータ上で、スタックドRNNと階層的アーキテクチャを、単純なモデルやベースラインと比較すること。
• シーケンス長がモデルの性能に与える影響、特に長期予測における影響を評価すること。
• 行列分解ベースラインが、特に短期シーケンスにおいても競争力を持つかどうかを同定すること。

提案手法

• ユーザー行動の順序的パターンをモデル化するために、核心となるRNNアーキテクチャとしてゲーテッド再帰ユニット（GRU）を採用する。
• 特に深層または長いシーケンスにおいて、学習の安定性と勾配の流れの改善を図るために、層正則化を適用する。
• パラメータ削減と一般化性能の向上を目的に、入力層と出力層の埋め込み行列を結合する。
• ユーザー行動の階層的パターンを捉えるために、2層スタック型のGRUアーキテクチャを採用する。
• 短期および長期予測の両方を評価するために、さまざまな時間ステップ（例：Recall@20,1 および Recall@20,20）におけるRecall@K指標を用いてモデルを評価する。
• 学習効率を向上させるために、セッション並列ミニバッチと出力サンプリングを用いたランキング損失を用いてモデルを訓練する。

実験結果

リサーチクエスチョン

• RQ1 RNNベースのモデルは、順序推薦において即時の行動と遠く離れた将来のユーザー行動の両方を効果的に予測できるか？
• RQ2 層正則化と結合された埋め込みの使用が、短期および長期の順序推薦タスクにおけるRNNの性能向上に寄与するか？
• RQ3 2層スタック型GRUは、1層のGRUや階層的RNNアーキテクチャと比較して、予測性能においてどのように差がつくか？
• RQ4 コーキャンス行列分解のような強力な非RNNベースラインは、特に短期シーケンスにおいてどれほど競争力を持つのか？
• RQ5 シーケンス長は、長期予測におけるさまざまなRNN設定の性能にどのように影響するか？

主な発見

• 最も優れた性能を示したモデルは、層正則化と結合されたアイテム埋め込みを備えた2層スタック型GRUであり、両データセットおよび指標において、すべてのベースラインを一貫して上回った。
• 層正則化は、長いシーケンス（Yoochoose）で10.6%の向上を、社内データセットで11.5%の向上をもたらした。これは、長期モデリングにおいて顕著な利点があることを示している。
• 結合された埋め込みは、モデルのパラメータを顕著に削減し、特に層正則化と組み合わせた場合に性能向上が顕著に見られた。
• 階層的マルチレイヤRNN（HM-LSTM）は、1層のGRUよりも性能が低く、離散変数を伴う複雑さと学習の不安定性が原因と考えられる。
• 短いシーケンス（長さ ≤5）では、コーキャンス行列分解ベースラインはバニラGRUと同等の性能を示し、Yoochooseでは0.3%の上昇、社内データセットでは1%の上昇にとどまった。
• GRUモデルは長期予測において顕著な性能差を示した：次のアイテム予測ではベースライン比2.4%の上昇にとどまるが、20ステップ先の予測では最大6.8%の上昇を記録した。