[論文レビュー] Next Item Recommendation with Self-Attention

Shuai Zhang, Yi Tay+2 more|arXiv (Cornell University)|Aug 20, 2018

Recommender Systems and Techniques参考文献 44被引用数 51

ひとこと要約

AttRec は自己注意ベースの逐次推奨システムを提案し、自己注意を通じて短期的なユーザー意図を、メトリック学習を介して長期的な嗜好をモデル化し、多様なデータセットで最先端の結果を達成します。

ABSTRACT

In this paper, we propose a novel sequence-aware recommendation model. Our model utilizes self-attention mechanism to infer the item-item relationship from user's historical interactions. With self-attention, it is able to estimate the relative weights of each item in user interaction trajectories to learn better representations for user's transient interests. The model is finally trained in a metric learning framework, taking both short-term and long-term intentions into consideration. Experiments on a wide range of datasets on different domains demonstrate that our approach outperforms the state-of-the-art by a wide margin.

研究の動機と目的

• ユーザーの履歴内でアイテム間の相互作用をモデリングする必要性を動機づけ、より良い逐次推奨を実現する。
• 最近の相互作用から短期的なユーザー意図を捉える自己注意ベースのモジュールを導入する。
• 自己注意表現を協調的メトリック学習コンポーネントと結びつけて、長期的なユーザー嗜好をモデル化する。
• dense データセットおよび sparse データセット上で AttRec を包括的に評価し、ハイパーパラメータと注意動作を分析する。

提案手法

• クエリ、キー、バリューを直近の L 回の相互作用から導出して、ユーザー意図の注意付き短期表現を生成する自己注意モジュールを用いる。
• 投影前にクエリとキーに追加される位置（時間）埋め込みを通じて時間情報を組み込む。
• 潜在因子 U（ユーザー）と V（アイテム）を用いて長期的なユーザー嗜好とアイテム埋め込みを表現し、ユーザー–アイテムの相互作用をユークリッド距離でモデル化する。
• 短期的な信号（m_t via self-attention）と長期信号を統合したスコア y_{t+1} = ω ||U_u - V_{H^u_{t+1}}||^2 + (1-ω) ||m^u_t - X^u_{t+1}||^2 に組み合わせる。
• 正例と負例のアイテムに対してペアワイズマージンベースのヒンジ損失で訓練し、L2 で正則化し、適応的勾配最適化を用いる。
• L（短期窓）、T（次アイテム）、および他のハイパーパラメータをグリッド検索で設定し、HR@50 と MRR を複数のデータセットで評価する。

実験結果

リサーチクエスチョン

• RQ1 AttRec は多様な逐次推奨データセットで最先端の性能を達成しますか？
• RQ2 自己注意コンポーネントは短期的な意図のモデリングと全体的なランキング性能にどのように影響しますか？
• RQ3 主要なハイパーパラメータ（例: L, アグリゲーション手法, ω, d） が性能に与える影響は？
• RQ4 AttRec は密なデータセットとまばらなデータセットの両方で良好に機能し、短い系列を効果的に扱えますか？

主な発見

• AttRec は 12 個のベンチマークデータセットにおいて、HR@50 および MRR 指標で常にすべてのベースラインを上回ります。
• アブレーションでは、自己注意を含めると無 attention variant より性能が向上しますが、いくつかのデータセットではそれなしでも競争力を維持します。
• 自己注意のアテンションマップは解釈可能で、最も最近のアイテムを単に優先するのではなく、過去のアクション間で変化する重みを示します。
• 注意出力を結合するアグリゲーション手法は性能に影響を与え、平均アグリゲーションが通常のベースラインとして用いられます。
• 本モデルは短期的な意図（自己注意を介して）と長期的な嗜好（潜在因子を介して）を統合し、推奨精度を向上させます。