[論文レビュー] Hierarchical Gating Networks for Sequential Recommendation

Chen Ma, Peng Kang+1 more|arXiv (Cornell University)|Jun 21, 2019

Recommender Systems and Techniques参考文献 39被引用数 4

ひとこと要約

本稿では、特徴およびインスタンスゲーティング機構を用いて長期間および短期間のユーザーの関心を同時に捉えることで、階層的ゲーティングネットワーク（HGN）を提案する。また、製品モジュールを介してアイテム同士の関係を明示的にモデル化する。5つの実世界データセットで評価された結果、HGNは最先端の手法を上回るトップ-N推薦精度を達成し、パラメータ効率的な設計のおかげで高速な学習速度を実現した。

ABSTRACT

The chronological order of user-item interactions is a key feature in many recommender systems, where the items that users will interact may largely depend on those items that users just accessed recently. However, with the tremendous increase of users and items, sequential recommender systems still face several challenging problems: (1) the hardness of modeling the long-term user interests from sparse implicit feedback; (2) the difficulty of capturing the short-term user interests given several items the user just accessed. To cope with these challenges, we propose a hierarchical gating network (HGN), integrated with the Bayesian Personalized Ranking (BPR) to capture both the long-term and short-term user interests. Our HGN consists of a feature gating module, an instance gating module, and an item-item product module. In particular, our feature gating and instance gating modules select what item features can be passed to the downstream layers from the feature and instance levels, respectively. Our item-item product module explicitly captures the item relations between the items that users accessed in the past and those items users will access in the future. We extensively evaluate our model with several state-of-the-art methods and different validation metrics on five real-world datasets. The experimental results demonstrate the effectiveness of our model on Top-N sequential recommendation.

研究の動機と目的

• 順序付き推薦におけるスパースな暗黙的フィードバックから、長期間および短期間のユーザーの関心をモデル化する課題に対処すること。
• 短期間のシーケンス内で情報量の多いアイテム特徴や重要なアイテムを的確に注目できない既存のモデルの限界を克服すること。
• ユーザーが連続して関連するアイテムを操作する傾向があることから、アイテム同士の関係を明示的に捉えること。
• RNN や CNN と比較してモデルの複雑さを低減しながらも高い性能を維持する、パラメータ効率的なアーキテクチャを設計すること。
• 特に大規模な設定において、推薦精度を損なわずに学習効率を向上させること。

提案手法

• モデルは、ユーザーの好みに基づいて関連するアイテムの潜在的特徴を適応的に選択する特徴ゲーティングモジュールを採用し、ユーザーごとに特徴のルーティングを実現する。
• インスタンスゲーティングモジュールは、ユーザーの最新の相互作用履歴から重要なアイテムを特定・優先順位付けし、短期的な関心を反映する。
• 階層的ゲーティング機構は、2段階のルーティングシステムを形成する：まず特徴が選択され、その後、重要なインスタンスが下流の層に渡される。
• アイテム同士の製品モジュールは、過去のアイテムと将来の候補アイテムとの間の関係を明示的にモデル化し、順序パターン学習を強化する。
• モデルは、ペairwiseランキング損失を用いたエンドツーエンド最適化を実現するため、ベイジアンパーソナライズドランクイング（BPR）と統合される。
• 複雑なRNNやCNNを避ける設計となっており、O(N²d + Nd²)の複雑度を持つパラメータ効率的な行列演算に依存する。ここで、N はアイテム数、d は埋め込み次元である。

実験結果

リサーチクエスチョン

• RQ1 パラメータ効率的なアーキテクチャは、順序付き推薦において長期間および短期間のユーザー関心を効果的にモデル化できるか？
• RQ2 特徴レベルおよびインスタンスレベルのゲーティングは、標準のRNN や CNN モデルと比較して、ユーザーの関心表現をどのように向上させるか？
• RQ3 アイテム同士の関係を明示的にモデル化することで、順序付き推薦の性能がどの程度向上するか？
• RQ4 SASRec や Caser などの既存の深層学習ベースの順序付きモデルと比較して、提案モデルの学習効率はいかがなっているか？
• RQ5 埋め込み次元やシーケンス長といったハイパーパrameterの最適な設定は、推薦精度を最大化するためにどのようになるか？

主な発見

• HGNは、Books, Comics, CDs, Children, ML20M の5つの実世界データセットで、R@5 や R@10 といった複数の評価指標において最先端の性能を達成した。
• d=50 の場合、学習可能なパラメータ数を 5,350 にまで削減し、GRU（15,300）やCNN（26,154）のベースラインと比較して顕著に少ないパラメータ数を実現した。これは高いパラメータ効率性を示している。
• HGNは、比較対象のすべてのモデルの中で最も高速な学習速度を示し、CDsデータセットでは1エポックあたり0.957秒、他のほとんどのデータセットでは3秒未満の推論時間を記録した。
• アイテム同士の製品モジュールの導入により、一貫した性能向上が確認され、アイテム関係のモデル化が順序付き予測を改善することを裏付けた。
• 埋め込み次元 d を増加させることで性能が向上するが、ある点（d=50 付近）を過ぎると増加が止まり、これにより十分な容量がd=50で達成されたと示唆された。
• |L|=3 および |T|=3 の設定で最良の性能が得られ、過去3つのアイテムの履歴と将来3つのアイテムの予測が、関連性とノイズ低減のバランスを最適に保つことが示された。