[論文レビュー] D\'ej\`a vu: A Contextualized Temporal Attention Mechanism for Sequential Recommendation

Jibang Wu, Renqin Cai+1 more|arXiv (Cornell University)|Jan 29, 2020

Recommender Systems and Techniques参考文献 46被引用数 9

ひとこと要約

本稿では、時間的近接性、文脈的関連性、コンテンツ類似性に基づいて、歴史的行動の重みを動的に設定する文脈的時系列注意メカニズム（CTA）を提案する。複数の学習可能な時系列カーネルと文脈に敏感なルーティングを統合することで、2つの大規模データセットにおいて最先端のモデルを上回る性能を示し、進化するユーザープreferencesのモデリングにおいて、精度と解釈可能性の両方を向上させた。

ABSTRACT

Predicting users' preferences based on their sequential behaviors in history is challenging and crucial for modern recommender systems. Most existing sequential recommendation algorithms focus on transitional structure among the sequential actions, but largely ignore the temporal and context information, when modeling the influence of a historical event to current prediction. In this paper, we argue that the influence from the past events on a user's current action should vary over the course of time and under different context. Thus, we propose a Contextualized Temporal Attention Mechanism that learns to weigh historical actions' influence on not only what action it is, but also when and how the action took place. More specifically, to dynamically calibrate the relative input dependence from the self-attention mechanism, we deploy multiple parameterized kernel functions to learn various temporal dynamics, and then use the context information to determine which of these reweighing kernels to follow for each input. In empirical evaluations on two large public recommendation datasets, our model consistently outperformed an extensive set of state-of-the-art sequential recommendation methods.

研究の動機と目的

• 時間的要因と文脈的要因に基づく歴史的イベントの動的影響を無視する既存の順序推薦モデルの限界を是正すること。
• 過去の行動の関連性が、時間的要因だけでなく、ユーザーエンゲージメントの文脈（例：探索的行動 vs. 利用的行動）によってもどのように変化するかをモデル化すること。
• 歴史的インタラクションのコンテンツベース、時系列的、文脈的重要度スコアを同時に学習することで、推薦精度を向上させること。
• コンテンツ、時系列的、文脈的要因の影響を分離する3段階の注意重み付けメカニズムを用いて、モデルの解釈可能性を向上させること。

提案手法

• モデルは3段階の注意メカニズムを採用する：コンテンツベース重要度（α）、時系列カーネルベースの再重み付け（β）、文脈に敏感な統合（γ）により、最終的な注意スコアを計算する。
• 多様な時系列ダイナミクスをモデル化するために、パラメータ化された複数のカーネル関数を用い、文脈に応じて各入力に対して最も関連性の高いカーネルを選択する学習可能なルーティングゲートを導入する。
• 時系列カーネル部は非線形的な時系列減衰パターンを学習し、短期的および長期的影響を柔軟にモデリング可能にする。
• 文脈情報を用いて時系列カーネルの選択を制御することで、探索的行動や利用的行動といったユーザ行動パターンに動的に適応可能となる。
• 最終的な注意スコアγは、コンテンツ、時系列的、文脈的信号を統合し、関連性がありかつ適切なタイミングの行動を優先することができる。
• 自己注意に基づくアーキテクチャのおかげで、並列処理の利点を維持しつつ、モデリングの正確性を向上させている。

実験結果

リサーチクエスチョン

• RQ1 歴史的ユーザ行動の現在の推薦に対する影響は、時間的経過と異なる行動的文脈（例：探索的 vs. 利用的）の下でどのように変化するか？
• RQ2 学習可能で文脈に敏感な時系列カーネルメカニズムは、固定または静的注意メカニズムを上回って順序推薦を改善できるか？
• RQ3 コンテンツベース、時系列的、文脈的重要度を分離することで、モデル性能と解釈可能性はどの程度向上するか？
• RQ4 異なる時系列カーネル設計は、実世界のデータセットにおける多様な順序パターンの一般化性能にどのように影響するか？

主な発見

• 提案されたCTAモデルは、2つの大規模な公開データセットにおいて、幅広い最先端の順序推薦手法を一貫して上回り、優れた推薦精度を示した。
• 実証的結果から、文脈情報が注意重みの決定において支配的役割を果たしていることが明らかになった。特に、時間的減衰だけでは不十分な遠い過去の行動において顕著であった。
• 自己注意に基づくアーキテクチャのおかげで、文脈的時系列モデリングの複雑さが加わっても、高い計算効率を維持でき、並列推論が可能であった。
• アブレーションスタディの結果、自己注意部は性能向上に大きく寄与しているが、文脈的時系列メカニズムが重要な段階的向上をもたらしていることが確認された。
• 注意スコアの可視化結果から、文脈が関連性を支持する限り、時間的に遠く離れた行動でさえも、モデルが正しく関連する行動を特定できていることがわかった。
• 3段階の注意メカニズムにより解釈可能性が向上し、研究者が特定のアイテムがなぜ推薦されたのかを、コンテンツ、タイミング、文脈の観点から追跡可能となった。