[論文レビュー] Time-based Sequence Model for Personalization and Recommendation Systems

Tigran Ishkhanov, Maxim Naumov+8 more|arXiv (Cornell University)|Aug 27, 2020

Recommender Systems and Techniques参考文献 41被引用数 6

ひとこと要約

本稿では、複数のベクトル空間における内積と類似するTSLアテンション機構を統合することで、変動長のユーザー行動シーケンスを効率的に処理できる時刻ベースのシーケンスモデル（TBSM）を提案する。このモデルは、Taobao User Behaviorデータセットにおいて、MIMN や DIEN よりもより複雑なモデルに劣らず、短いシーケンス長（τ=20）で最先端の性能を達成している。

ABSTRACT

In this paper we develop a novel recommendation model that explicitly incorporates time information. The model relies on an embedding layer and TSL attention-like mechanism with inner products in different vector spaces, that can be thought of as a modification of multi-headed attention. This mechanism allows the model to efficiently treat sequences of user behavior of different length. We study the properties of our state-of-the-art model on statistically designed data set. Also, we show that it outperforms more complex models with longer sequence length on the Taobao User Behavior dataset.

研究の動機と目的

• ユーザー行動シーケンスに時間的ダイナミクスを明示的に組み込む推薦モデルの開発を目的とする。
• 時間の扱いが暗黙的であるか、長大なシーケンス長を必要とする既存モデルの限界を是正することを目的とする。
• 効果的かつ軽量なアテンション機構の設計を目的とし、順序付きユーザーインタラクションのモデリングを向上させることを目的とする。
• 先行研究で使用されている長大なシーケンスと比較して、短いユーザー行動シーケンス（τ=20）が優れた性能を発揮できることを示すこと。
• 複数のベクトル空間における球面距離と内積に基づく幾何的動機付けのアテンション機構の探求。

提案手法

• ユーザーとアイテムを共有空間内の密なベクトルとして表現する埋め込み層を用いる。
• 複数のベクトル空間における内積を用いてアテンション重みを計算するTSL（Time-Sensitive Layer）アテンション機構を適用し、マルチヘッドアテンションを模倣する。
• アテンション機構は、球面距離に関連する類似度測度を用いて、過去のユーザーインタラクションを統合して文脈ベクトルを計算する。
• ユーザー行動のシーケンスは、各イベントが時系列順に埋め込まれ、TSL機構を介してアテンション処理される。
• 最終的な予測は、現在のアイテム埋め込みとアテンションから導出された文脈ベクトル間の学習済み相互作用関数 φ を用いて行われる。
• アーキテクチャは、時間ステップおよび複数のTSL間で並列計算が可能であるように設計されており、スケーラビリティと効率性を実現している。

実験結果

リサーチクエスチョン

• RQ1 複数のベクトル空間における幾何的類似度に基づく時間に敏感なアテンション機構は、標準的なアテンションと比較して推薦性能を向上させることができるか？
• RQ2 短いユーザー行動シーケンス（τ=20）は、先行研究で使用されている長いシーケンス（τ=200）よりも優れた性能を発揮するか？
• RQ3 TBSMモデルは、実世界のデータにおけるAUCと一般化性能の観点から、MIMN や DIEN といった最先端モデルと比較してどのように差をつけるか？
• RQ4 異なるベクトル空間における複数の内積を組み込むことで、時間的依存関係のモデリングがどの程度向上するか？
• RQ5 比較的単純なモデルアーキテクチャは、より複雑なモデルに比べ、長大なコンテキストシーケンスを用いるモデルを上回る性能を発揮できるか？

主な発見

• TBSMモデルは、Taobao User Behavior データセットにおいて、MIMN や DIEN を上回るAUC性能を示したが、シーケンス長が著しく短い（τ=20 対 τ=200）。
• 統計的に設計された合成データセットにおいて、シーケンス要素間の時間的相関が高くなるほど、モデルの統計的性能が向上することを示した。
• 複数のベクトル空間における内積に基づくTSLアテンション機構は、標準的なアテンション機構よりも順序付き依存関係のモデリングが優れている。
• 制限されたコンテキストでもモデルの性能が維持されることから、短い行動シーケンスからの効率的な学習が可能であることが示された。
• 時間ステップおよびTSLの独立的処理により、高い並列性を実現しており、スケーラブルな展開が可能であると示唆された。
• より複雑なアーキテクチャに比べて優れた性能を発揮したため、幾何的アテンションと組み合わせたアーキテクチャの単純さが、優れた結果をもたらす可能性がある。