[論文レビュー] Interacting Attention-gated Recurrent Networks for Recommendation

Wenjie Pei, Jie Yang+4 more|arXiv (Cornell University)|Sep 5, 2017

Recommender Systems and Techniques参考文献 42被引用数 11

ひとこと要約

本稿では、歴史的相互作用の関連性を重み付けるために、相互作用的アテンションメカニズムを用いてユーザーおよびアイテムのダイナミクスを共同でモデル化する、新しい推薦モデルであるインタラクティブアテンションゲート付き再帰的ネットワーク（IARN）を提案する。IARNは、実世界のデータセットにおいて、平均してレーティング予測のRMSEで最先端手法を8.58%上回り、ユーザーおよびアイテムの履歴に対する動的で解釈可能なアテンションにより、優れたランク付け性能を達成する。

ABSTRACT

Capturing the temporal dynamics of user preferences over items is important for recommendation. Existing methods mainly assume that all time steps in user-item interaction history are equally relevant to recommendation, which however does not apply in real-world scenarios where user-item interactions can often happen accidentally. More importantly, they learn user and item dynamics separately, thus failing to capture their joint effects on user-item interactions. To better model user and item dynamics, we present the Interacting Attention-gated Recurrent Network (IARN) which adopts the attention model to measure the relevance of each time step. In particular, we propose a novel attention scheme to learn the attention scores of user and item history in an interacting way, thus to account for the dependencies between user and item dynamics in shaping user-item interactions. By doing so, IARN can selectively memorize different time steps of a user's history when predicting her preferences over different items. Our model can therefore provide meaningful interpretations for recommendation results, which could be further enhanced by auxiliary features. Extensive validation on real-world datasets shows that IARN consistently outperforms state-of-the-art methods.

研究の動機と目的

• ユーザーとアイテムの相互作用履歴におけるすべての時刻ステップを、たとえ偶発的な相互作用であっても、同等に重要であると扱う既存手法の制限に対処すること。
• ユーザーとアイテムのダイナミクスを別々に学習する方法では、ユーザーの好みに及ぼす両者の共同的影響を捉えられないことの克服。
• パーソナライズド推薦のための関連する歴史的相互作用の選択を、解釈可能なアテンションベースで可能にすること。
• 補助特徴（例：アイテムのカテゴリ、ユーザーのデモグラフィック情報）を効果的に統合して、推薦性能を向上させること。
• 時間的ダイナミクスを統合的にモデル化し、ユーザーとアイテムの両方のアテンションを共同で扱う統一フレームワークの構築により、推薦精度の向上を図ること。

提案手法

• IARNは、再帰的隠れ状態（GRUまたはLSTM）を用いて、ユーザーおよびアイテムの順序付き相互作用履歴をモデル化する。
• ユーザーおよびアイテムの履歴を共同で最適化する形で、アテンションスコアを計算する相互作用的アテンションメカニズムを導入し、ユーザーとアイテムのダイナミクス間の依存関係を捉える。
• アテンションメカニズムは、ユーザーおよびアイテムのシーケンス内の各時刻ステップに動的重みを割り当て、関連する歴史的相互作用の選択的記憶を可能にする。
• 補助特徴（例：アイテムカテゴリ、ユーザーのデモグラフィック情報）をアテンションおよびゲーティング機構に統合し、表現学習を強化する。
• 最終的な予測は、アテンション付きのユーザーおよびアイテム表現をフィードフォワードネットワークで組み合わせることで生成される。
• モデルは、観測されたレーティングの予測誤差を最小化する目的で、平均二乗誤差（MSE）損失を用いてエンドツーエンドで訓練される。

実験結果

リサーチクエスチョン

• RQ1 ユーザーとアイテムのダイナミクスを共同でモデル化するアテンションメカニズムは、別々にモデル化する手法と比較して、推薦性能を向上させることができるか？
• RQ2 相互作用的アテンションメカニズムは、予測のための関連する歴史的相互作用の選択を、より解釈可能で意味のある形で行うことができるか？
• RQ3 補助特徴の統合は、提案モデルの性能にどのように影響するか？
• RQ4 IARNは、レーティング予測およびアイテムランク付けの両タスクにおいて、最先端手法を上回ることができるか？
• RQ5 IARNの性能向上は、複数の実世界データセットにおいて統計的に有意であるか？

主な発見

• IARNは、6つの実世界データセットにおいて、平均して2番目に優れた手法よりもRMSEで8.58%の性能向上を達成した。
• IARNの向上は統計的に有意であり、すべてのデータセットでペアドt検定のp値が0.01未満であった。
• IARNは、すべてのベースライン手法を上回り、パーソナライズドランク付けタスクにおける有効性を示した。
• モデルのアテンションスコアは、特定の推薦に対して最も関連性の高い歴史的相互作用を解釈可能な形で明らかにした。
• 補助特徴の統合により、IARNの性能がさらに向上したことが確認され、複雑なユーザーとアイテムのダイナミクスをモデル化する上での価値が裏付けられた。
• IARNは、レーティング予測およびランク付けの両方で優れた性能を示したが、モデルの目的関数がRMSEに最適化されているため、ランク付けの向上はレーティング予測の向上ほど大きくはなかった。