[論文レビュー] Hybrid Model with Time Modeling for Sequential Recommender Systems

Marlesson R. O. Santana, Anderson da Silva Soares|arXiv (Cornell University)|Mar 7, 2021

Recommender Systems and Techniques参考文献 17被引用数 4

ひとこと要約

本論文では、時間モデリングの強化、統計的特徴工学、トレーニング技術を組み合わせたハイブリッドNARMベースのモデルを提案し、旅行の行程に対するセッションベースの推薦を改善する。時間的パターン、ユーザー／都市の統計、損失重み付け戦略を統合することで、WSDM WebTour 2021チャレンジにおいてベースラインNARMより9.66%の精度向上を達成し、すべての最先端手法を上回った。

ABSTRACT

Deep learning based methods have been used successfully in recommender system problems. Approaches using recurrent neural networks, transformers, and attention mechanisms are useful to model users' long- and short-term preferences in sequential interactions. To explore different session-based recommendation solutions, Booking.com recently organized the WSDM WebTour 2021 Challenge, which aims to benchmark models to recommend the final city in a trip. This study presents our approach to this challenge. We conducted several experiments to test different state-of-the-art deep learning architectures for recommender systems. Further, we proposed some changes to Neural Attentive Recommendation Machine (NARM), adapted its architecture for the challenge objective, and implemented training approaches that can be used in any session-based model to improve accuracy. Our experimental result shows that the improved NARM outperforms all other state-of-the-art benchmark methods.

研究の動機と目的

• 複数都市を含む旅行行程における最終都市の推薦という課題に取り組む。
• 時間に敏感でノイズが多く、不均衡な旅行データにおけるセッションベースの推薦性能を向上させる。
• 任意のセッションベースの推薦モデルに適用可能な汎用的なトレーニングおよびアーキテクチャ的改善を構築する。
• 時間的、統計的、文脈的特徴を統合し、行程の進行状況とユーザー行動をよりよくモデル化する。

提案手法

• NARMアーキテクチャを変更し、二重パス入力（アテンション層を通るパスとボトルneckを回避するパス）を導入し、デコーダーのコンテキストを強化した。
• ユーザー、都市、行程履歴からのカテゴリカルおよびデュアル特徴を入力埋め込みとして統合した。
• 月と行程期間を時間的特徴として符号化することで、旅行の季節性と行程長を捉える時間モデリングを導入した。
• 極端に不均衡なトレーニングデータにおけるクラス不均衡を軽減するため、α=1、γ=3のフォーカル損失を適用した。
• ノイズが多く、スパarsなユーザーセッションに対する耐性を高めるために、マルチタスク学習とデータ拡張を採用した。
• 公平な比較のため、すべてのモデルで固定されたハイパーパramータを用いてエアリー停止法とRAdam最適化を実装した。

実験結果

リサーチクエスチョン

• RQ1 時間的および統計的特徴は、旅行計画におけるセッションベースの推薦を向上させることができるか？
• RQ2 フォーカル損失やデータ拡張といったトレーニング技術は、不均衡でノイズの多いセッションデータにおけるモデルの一般化性能にどのように影響するか？
• RQ3 NARMへのアーキテクチャ的変更は、順序付き推薦タスクにおける性能向上にどの程度寄与するか？
• RQ4 提案された改善策は、NARMを超えたさまざまなセッションベースのモデルに対しても一般化可能か？

主な発見

• 改善されたNARMモデル（NARM V2）は、テストセットでAccuracy@4が0.545を達成し、元のNARMモデル比で9.66%の向上を示した。
• トレーニングおよび正則化の改善のみを適用したNARM V1は、元のNARM比で4.62%の精度向上を達成し、トレーニング技術そのものの影響を示した。
• 元のNARMはSASRec や Caser といった他の最先端手法を上回り、さらなる改善のための強力なベースラインであることが確認された。
• t-SNEを用いたユーザー埋め込みの可視化から、旅行の月がユーザー行動の強力な予測要因であることが判明し、旅行月ごとに明確なクラスタリングが観察された。
• 複数のアブレーション設定においても、性能向上が一貫して確認され、時間モデリングと損失重み付けの有効性が裏付けられた。
• 提案されたトレーニングおよびアーキテクチャ的改善は汎用的であり、他のセッションベースの推薦システムへの応用が可能であることが示された。