[論文レビュー] Contextual Sequence Modeling for Recommendation with Recurrent Neural Networks

Elena Smirnova, Flavian Vasile|arXiv (Cornell University)|Jun 23, 2017

Recommender Systems and Techniques参考文献 8被引用数 4

ひとこと要約

本稿では、インタラクションタイプ、時間間隔、時刻といった文脈的特徴を入力・出力層および隠れ状態のダイナミクスに統合することで、セッションベースのレコメンデーションを向上させるコンテキストラベルド再帰ニューラルネットワーク（CRNN）を提案する。CRNNは非文脈的RNNおよびベースラインを著しく上回り、レアなセールイベントでは最高で12.5%高いRecall@10を達成し、非歴史的アイテムでは10.2%の向上を示した。

ABSTRACT

Recommendations can greatly benefit from good representations of the user state at recommendation time. Recent approaches that leverage Recurrent Neural Networks (RNNs) for session-based recommendations have shown that Deep Learning models can provide useful user representations for recommendation. However, current RNN modeling approaches summarize the user state by only taking into account the sequence of items that the user has interacted with in the past, without taking into account other essential types of context information such as the associated types of user-item interactions, the time gaps between events and the time of day for each interaction. To address this, we propose a new class of Contextual Recurrent Neural Networks for Recommendation (CRNNs) that can take into account the contextual information both in the input and output layers and modifying the behavior of the RNN by combining the context embedding with the item embedding and more explicitly, in the model dynamics, by parametrizing the hidden unit transitions as a function of context information. We compare our CRNNs approach with RNNs and non-sequential baselines and show good improvements on the next event prediction task.

研究の動機と目的

• 既存のRNNベースのレコメンデーションモデルが、インタラクションタイプ、時間間隔、時刻といった文脈的特徴を無視するという限界を是正する。
• 入力・出力層だけでなく、隠れ状態遷移に対しても文脈的情報をモデル化することで、次アイテム予測の精度を向上させる。
• 文脈的モデル化が、レアなイベント（例：セール）や以前に見られなかったアイテムといった困難なケースにおいて顕著な向上をもたらすことを示す。
• 実世界のeコマースデータセット上で、非順序的および順序的なベースラインと比較してCRNNの有効性を検証する。

提案手法

• 入力・出力層におけるアイテム埋め込みと文脈埋め込みの非線形変換を組み合わせることで、文脈ラベルドRNN（CRNN）のファミリーを導入する。
• 隠れ状態遷移を文脈に依存する関数としてパrameter化することで、RNNセル内での文脈に配慮したダイナミクスを可能にする。
• 2つのアーキテクチャ変種を検討：文脈依存の入力・出力モデリングと、文脈依存のダイナミクスモデリング。
• アイテム埋め込みと文脈埋め込みの間で、連結および乗算的相互作用を用いたGRUベースのRNNを適用する。
• 残差接続とバッチ正則化を用いたマルチレイヤーCRNNを採用し、学習の安定化を図る。
• セッションレベルのシーケンスにおける次アイテム予測のため、クロスエントロピー損失を用いてエンドツーエンドでモデルを学習する。

実験結果

リサーチクエスチョン

• RQ1 インタラクションタイプ、時間間隔、時刻といった文脈的特徴をRNNベースのレコメンデーションモデルに組み込むことで、次アイテム予測の精度が向上するか？
• RQ2 入力・出力に文脈を、あるいはダイナミクスに文脈を組み込むという異なるアーキテクチャ設計は、モデルのパフォーマンスにどのように影響するか？
• RQ3 文脈の組み込みが、レアなイベント（例：セール）や非歴史的アイテムといった困難な予測ケースにおいて、測定可能な向上をもたらすか？
• RQ4 シーケンス長さや直前のイベントからの経過時間に応じて、モデルのパフォーマンスはどのように変化するか？
• RQ5 実世界のeコマースデータにおいて、CRNNは非文脈的RNNおよび従来のベースラインよりも一般化性能に優れているか？

主な発見

• Concat-Mult-Context-RNNモデルが最高のパフォーマンスを達成し、YooChooseデータセットにおいて、最良のベースライン比でセールイベントのRecall@10が12.5%向上した。
• 非歴史的アイテムでは、最良のCRNNモデルがベースライン比でRecall@10を10.2%向上させ、未確認アイテムへの一般化性能の向上を示した。
• パフォーマンス向上は、特に稀なイベント（例：セール、全イベントの5%未満）および長いシーケンスで顕著であり、シーケンス長が長くなるほど向上が増幅された。
• 非常に最近のイベント（時間間隔 < 2秒）において最も大きな向上を示し、時間的文脈への強い感受性を示した。
• すべてのCRNNバリエーションが非文脈的RNNおよびベースラインを著しく上回り、30回のブートストラップからの95%信頼区間を用いた統計的有意性が確認された。
• 入力・出力層と隠れ状態ダイナミクスの両方に文脈を組み込む（Concat-Mult-Context-RNN）ことで、全体的な向上が最も顕著であった。