[論文レビュー] RetaGNN: Relational Temporal Attentive Graph Neural Networks for Holistic Sequential Recommendation

Cheng Hsu, Cheng–Te Li|arXiv (Cornell University)|Jan 29, 2021

Recommender Systems and Techniques参考文献 41被引用数 9

ひとこと要約

RetaGNN は、局所的なユーザ・アイテム部分グラフにおける関係的アテンション GNN と順序付き自己アテンション機構を用いることで、従来の設定、誘導的設定、移行可能設定を統合する、包括的順序推薦のための新規 GNN モデルである。長期間および短期間のユーザ嗜好をモデル化し、学習されたアテンション重みによる一般化性能と説明可能性の向上を実現している。MovieLens、Instagram、Book-Crossing データセットの全範囲で最先端の性能を達成している。

ABSTRACT

Sequential recommendation (SR) is to accurately recommend a list of items for a user based on her current accessed ones. While new-coming users continuously arrive in the real world, one crucial task is to have inductive SR that can produce embeddings of users and items without re-training. Given user-item interactions can be extremely sparse, another critical task is to have transferable SR that can transfer the knowledge derived from one domain with rich data to another domain. In this work, we aim to present the holistic SR that simultaneously accommodates conventional, inductive, and transferable settings. We propose a novel deep learning-based model, Relational Temporal Attentive Graph Neural Networks (RetaGNN), for holistic SR. The main idea of RetaGNN is three-fold. First, to have inductive and transferable capabilities, we train a relational attentive GNN on the local subgraph extracted from a user-item pair, in which the learnable weight matrices are on various relations among users, items, and attributes, rather than nodes or edges. Second, long-term and short-term temporal patterns of user preferences are encoded by a proposed sequential self-attention mechanism. Third, a relation-aware regularization term is devised for better training of RetaGNN. Experiments conducted on MovieLens, Instagram, and Book-Crossing datasets exhibit that RetaGNN can outperform state-of-the-art methods under conventional, inductive, and transferable settings. The derived attention weights also bring model explainability.

研究の動機と目的

• 従来の設定、誘導的設定、移行可能な設定を同時にサポートする統合モデルの不足に応えること。
• トレーニングを再実行せずに、ターゲットのユーザ・アイテムペアを中心とした局所部分グラフから学習することで、誘導的順序推薦を可能にすること。
• 新規の順序付き自己アテンション機構を用いて、ユーザ嗜好の長期的および短期的時間的パターンをモデル化すること。
• 関係に配慮した正則化（RAR）項を損失関数に統合することで、学習の安定性と一般化性能を向上させること。
• 解釈可能なアテンション重みを用いて、推薦意思決定の説明可能性を向上させること。

提案手法

• RetaGNN は、ターゲットのユーザ・アイテムペアを中心とした局所的囲繞部分グラフを構築し、ユーザ、アイテム、属性間の関係を捉える。
• ノードやエッジ固有のパラメータではなく、複数の関係（ユーザ・アイテム、ユーザ・属性、アイテム・属性）に特化した重み行列を学習する関係的アテンション GNN（RA-GNN）レイヤーを採用する。
• 最近の相互作用シーケンスに注目することで、時間的パターンをモデル化する順序付き自己アテンション機構を用い、短期的および長期的嗜好ダイナミクスを捉える。
• トレーニングの安定性と未観測ノードおよびドメインにおける一般化性能の向上を図るため、損失関数に関係に配慮した正則化（RAR）項を統合する。
• グローバルなノード埋め込みに依存しない、局所的部分グラフ構造のみに依存することで、誘導的アーキテクチャを実現する。
• ホップ数、サブセッション長、RA-GNN レイヤー数といったハイパーパrameter を調整することで、ノイズと表現力のバランスをとる。

実験結果

リサーチクエスチョン

• RQ1 1つの順序推薦モデルが、同時に従来の設定、誘導的設定、移行可能な設定を効果的にサポートできるか。
• RQ2 関係的アテンション GNN を用いて高次元のユーザ・アイテム相互作用をモデル化することで、順序推薦性能がどのように向上するか。
• RQ3 順序付き自己アテンション機構が、異なるドメインにおける多様な時間的ユーザ行動パターンをどの程度効果的に捉えられるか。
• RQ4 関係に配慮した正則化項が、誘導的および移行学習設定におけるモデルの一般化性能とロバスト性をどのように向上させるか。
• RQ5 RetaGNN が学習したアテンション重みは、推薦意思決定に対して意味的な説明可能性を提供できるか。

主な発見

• RetaGNN は、MovieLens、Instagram、Book-Crossing データセットの全3つの設定（従来、誘導的、移行可能）において、最先端の手法を上回る性能を達成した。
• h がホップ数、τ が短期的サブセッション長である (h, τ) = (2, 4) の設定が最良の性能を示し、性能に最適な部分グラフサイズであることを示している。
• 長期間および短期間の RA-GNN レイヤーにそれぞれ (L_lo, L_sh) = (2, 3) を使用した場合が最良の結果をもたらし、中程度の深さが表現力とノイズ感受性のバランスをとっていることを示している。
• 関係に配慮した正則化項の λ 値が 0.6 の場合が最良の性能を示し、中程度の正則化が一般化性能を向上させつつ柔軟性を損なわないことを示している。
• 順序付き自己アテンション機構は、MovieLens における安定した嗜好や Instagram におけるバースト型パターンといったドメイン固有の行動を効果的に捉えている。
• RetaGNN が学習したアテンション重みは、モデルの説明可能性を提供し、ユーザ嗜好のダイナミクスや過去のアイテムの時間的影響を反映している。