[論文レビュー] Pairwise Interactive Graph Attention Network for Context-Aware Recommendation

Yahui Liu, Furao Shen+1 more|arXiv (Cornell University)|Nov 18, 2019

Recommender Systems and Techniques参考文献 24被引用数 5

ひとこと要約

本稿では、動的ユーザ・アイテム相互作用グラフ（DIG）とペアワイズ相互作用的グラフ注意機構を用いて、文脈認識推薦においてユーザの関心とアイテムの魅力を統合的に捉えるGNNベースのモデルPIGATを提案する。相互作用の順序に対する信頼度埋め込みを組み込み、学習可能な注意メカニズムを用いることで、特にロングテールアイテムにおいて顕著な性能向上を達成し、3つの実世界データセットにおいて最先端のモデルを上回る性能を発揮する。

ABSTRACT

Context-aware recommender systems (CARS), which consider rich side information to improve recommendation performance, have caught more and more attention in both academia and industry. How to predict user preferences from diverse contextual features is the core of CARS. Several recent models pay attention to user behaviors and use specifically designed structures to extract adaptive user interests from history behaviors. However, few works take item history interactions into consideration, which leads to the insufficiency of item feature representation and item attraction extraction. From these observations, we model the user-item interaction as a dynamic interaction graph (DIG) and proposed a GNN-based model called Pairwise Interactive Graph Attention Network (PIGAT) to capture dynamic user interests and item attractions simultaneously. PIGAT introduces the attention mechanism to consider the importance of each interacted user/item to both the user and the item, which captures user interests, item attractions and their influence on the recommendation context. Moreover, confidence embeddings are applied to interactions to distinguish the confidence of interactions occurring at different times. Then more expressive user/item representations and adaptive interaction features are generated, which benefits the recommendation performance especially when involving long-tail items. We conduct experiments on three real-world datasets to demonstrate the effectiveness of PIGAT.

研究の動機と目的

• 既存の文脈認識推薦システムが、履歴的相互作用からアイテムの魅力を捉える点で限界を示しているのを是正すること。
• グラフベースのアプローチを用いて、動的ユーザの関心とアイテムの魅力を同時にモデル化すること。
• 時間経過に伴う相互作用の信頼度を組み込むことで、ロングテールアイテムの表現学習を改善すること。
• ユーザとアイテムの両視点から、ユーザ・アイテム相互作用の重要度を統合的にモデル化するGNNアーキテクチャを設計すること。

提案手法

• 各有向エッジがタイムスタンプラベル（相互作用の順序）を備えた動的ユーザ・アイテム相互作用グラフ（DIG）を構築する。
• ペアワイズ相互作用的グラフ注意機構を適用し、2つの注意スコア（ヘッドのユーザ／アイテムの重要度、推薦文脈の重要度）を計算する。
• 相互作用の時間的信頼度をモデル化するための信頼度埋め込みを用い、訓練の安定性と有効性を向上させるための新規初期化戦略を提案する。
• 注意スコアに基づいて重み付き和プーリング機構を用いて近隣表現を集約し、表現力のあるユーザおよびアイテム表現を生成する。
• 注意関数として多層フィードフォワードネットワーク（FFN）を採用し、ドット積やスケーリングドット積注意よりも優れた性能を発揮する。
• インタラクション表現生成器をGNNフレームワークに統合し、DIG上でメッセージパッシングを用いてユーザおよびアイテム埋め込みを精緻化する。

実験結果

リサーチクエスチョン

• RQ1 有向二部グラフを用いて動的ユーザ・アイテム相互作用をモデル化することで、文脈認識推薦の性能が向上するか？
• RQ2 注意メカニズムを用いてユーザの関心とアイテムの魅力を同時に捉えることで、より良い表現学習が達成されるか？
• RQ3 時間的順序に基づく相互作用の信頼度を組み込むことで、特にロングテールアイテムにおいてモデルの性能が向上するか？
• RQ4 固定、位置、ランダム埋め込みよりも、学習可能な信頼度埋め込みが相互作用の重要度をモデル化する上でより効果的か？
• RQ5 より深い注意関数（例：FFN-3）は、単純な注意機構よりも高次元の関係をより良く捉えられるか？

主な発見

• PIGATは3つの実世界データセット（Books, Electronics, Byte-Rec）において最先端の性能を達成し、F1スコアはそれぞれ0.7694、0.7033、0.7422を記録した。
• 動的相互作用グラフ（DIG）は、静的グラフよりもBooksでF1スコア0.0010、Electronicsで0.0073、Byte-Recで0.0188高い性能を示し、時間的ダイナミクスをモデル化する必要性を裏付けた。
• 信頼度埋め込み（CE）が最良の性能を発揮し、ベースラインのNone（-0.0010）、PE（-0.0067）、FCE（-0.0013）、RCE（-0.0009）を上回った。
• 3層フィードフォワードネットワーク（FFN-3）を注意関数として用いることで最高の性能が得られ、高次元の相互作用が表現学習に有益であることを示した。
• PIGATは特にロングテールアイテム（k=3）において最も顕著な性能向上を示し、希少アイテムの表現学習の向上を確認した。
• アブレーションスタディにより、信頼度埋め込みと注意メカニズムの両方が不可欠であることが確認され、CEは全データセットで一貫した改善をもたらした。