[論文レビュー] Dynamic Intention-Aware Recommendation with Self-Attention

Shuai Zhang, Yi Tay+2 more|arXiv (Cornell University)|Aug 20, 2018

Recommender Systems and Techniques被引用数 5

ひとこと要約

本稿では、順序付き行動の自己注意機構による短期的ユーザー関心の共同モデリングと、メトリック学習フレームワークによる長期的好みのモデリングを通じて、動的で意図に配慮した推薦モデルを提案する。両方の意図タイプを統合し、ドット積み注意の限界を克服することで、多様なデータセットで最先端の性能を達成する。

ABSTRACT

Predicting the missing values given the observed interaction matrix is a predominant task in the recommendation research field, which is well-suited to the case when long-term user preference is considered. However, ignoring timestamp information makes it impossible to detect interest drifts of individual users over time, while in many practical applications, both long and short-term intents are critical to the success of recommendation algorithms. In this paper, we aim to tackle the sequential recommendation problem by modeling these two types of intents in an integrated manner. Our model is structured into two components, one for short-term intents learning and the other one for long-term preference modeling. We propose capturing user's short-term interest with a self-attention mechanism which attends over the past behaviors in a supervised learning approach. The model is finally learned in a metric learning framework, which could overcome the weakness of dot product. Experiments on a wide range of datasets on different domains demonstrate that our approach outperforms the state-of-the-art by a wide margin.

研究の動機と目的

• タイムスタンプ情報を無視し、時間経過に伴うユーザー関心の変化を検出できない既存の推薦モデルの限界を解決すること。
• 最近の行動から得られる短期的ユーザー意図と、長期的ユーザー好みを統合的な推薦フレームワークに統合すること。
• 教師あり学習で訓練された自己注意メカニズムを用いて、動的ユーザー意図の変化をモデル化することで、順序付き推薦を改善すること。
• 標準的なドット積み注意の固有の弱みを、メトリック学習に基づく訓練目的によって克服すること。

提案手法

• 過去のユーザー行動のシーケンスに注目する自己注意メカニズムを用いて、動的変化する関心を捉える短期的ユーザー意図をモデル化する。
• 歴史的行動から安定的かつ持続的なユーザー好みをエンコードする別個のコンポーネントを用いて、ユーザーの長期的好みを学習する。
• 表現学習の向上と標準的なドット積み注意の限界の緩和を目的として、モデルをメトリック学習フレームワークで訓練する。
• 短期的および長期的モデリングコンポーネントの出力を統合して、最終的な推薦を生成する。
• 自己注意モジュールを教師あり学習の設定で訓練することで、注目重みを実際のユーザー行動シーケンスとよりよく一致させる。
• コントラスト損失目的を用いて、埋め込み品質と推薦精度の向上を図るため、モデル全体をエンドツーエンドで最適化する。

実験結果

リサーチクエスチョン

• RQ1 統合的なモデルは、順序付き推薦において短期的および長期的ユーザー意図を効果的に捉えることができるか？
• RQ2 タイムスタンプに配慮した自己注意を組み込むことで、時間的ダイナミクスを無視するモデルと比較して、推薦性能がどのように向上するか？
• RQ3 メトリック学習フレームワークを用いることで、標準的なドット積み注意に比べて、注目ベースのモデリングがどの程度向上するか？
• RQ4 提案手法は、相互作用パターンが異なる多様なドメインとデータセットに一般化可能か？

主な発見

• 提案モデルは、異なるドメインからの広範なデータセットで最先端の性能を達成する。
• 自己注意による短期的意図モデリングの統合は、長期的好みのみを考慮するモデルと比較して、推薦精度を顕著に向上させる。
• メトリック学習フレームワークは、ドット積み注意の限界を効果的に緩和し、より強固なユーザー表現学習を実現する。
• モデルは優れた一般化能力を示し、評価されたすべてのデータセットで既存の最先端手法を上回る性能を発揮する。