[論文レビュー] Heterogeneous Graph Neural Network for Recommendation

Jinghan Shi, Houye Ji+4 more|arXiv (Cornell University)|Sep 2, 2020

Recommender Systems and Techniques参考文献 7被引用数 8

ひとこと要約

本稿では、多段階メタパス集約と注目メカニズムを用いたメタパス重み付けによる多様な意味的情報を統合することで、高次意味情報を注入することで推薦性能を向上させる、異種グラフニューラルネットワークHGRecを提案する。実験の結果、SOTAモデルを上回る性能を示し、NDCG@10において最大8.19%の向上を達成した。これは、パーソナライズド推薦において豊富な高次意味情報が極めて重要であることを示している。

ABSTRACT

The prosperous development of e-commerce has spawned diverse recommendation systems. As a matter of fact, there exist rich and complex interactions among various types of nodes in real-world recommendation systems, which can be constructed as heterogeneous graphs. How learn representative node embedding is the basis and core of the personalized recommendation system. Meta-path is a widely used structure to capture the semantics beneath such interactions and show potential ability in improving node embedding. In this paper, we propose Heterogeneous Graph neural network for Recommendation (HGRec) which injects high-order semantic into node embedding via aggregating multi-hops meta-path based neighbors and fuses rich semantics via multiple meta-paths based on attention mechanism to get comprehensive node embedding. Experimental results demonstrate the importance of rich high-order semantics and also show the potentially good interpretability of HGRec.

研究の動機と目的

• 多様なノードおよびエッジタイプを有する異種推薦グラフにおいて、代表的なノード埋め込みを学習する課題に対処すること。
• 特定のメタパスに沿って複数ホップの近隣ノードを集約することで、ノード埋め込みに高次意味情報を注入すること。
• 注目メカニズムを用いて複数のメタパスから得られる豊富で多様な意味的情報を統合し、包括的なノード表現を生成すること。
• 複雑なユーザ・アイテム相互作用パターンを明示的にモデル化することで、推薦性能と解釈可能性を向上させること。
• 高次意味情報と複数メタパス統合の有効性が、コールドスタート問題の緩和および推薦精度の向上に寄与することを実証すること。

提案手法

• 次元数が学習可能な埋め込み行列によって制御されるランダムなルックアップによりノード埋め込みを初期化する。
• 要素ごとのインタラクション $\mathbf{e}_k \odot \mathbf{e}_u $ を用いて、特定のメタパスに沿って近隣ノードを集約することで、一次および高次ノード埋め込みを計算するセマンティック集約層を適用する。
• 集約された近隣特徴に基づいてノード埋め込みを更新するための学習可能な重み行列 $\mathbf{W}_1^{\Phi^U}$ を使用する。
• 複数層（L層）に一般化することで、複数ホップにわたる高次意味情報を捉える。
• ターゲットノードに対する関連性に基づいて、異なるメタパスを動的に重み付する注目メカニズムを用いたセマンティック統合層を実装する。
• Adam、L2正則化、および早期停止を用いてバックプロパゲーションにより、モデル全体をエンドツーエンドで最適化する。

実験結果

リサーチクエスチョン

• RQ1 多段階メタパス集約による高次意味情報の統合は、ノード埋め込みの品質と推薦性能にどのように影響するか？
• RQ2 複数のメタパスを注目メカニズムで統合することで、異種グラフにおけるノード表現の包括性と正確性が向上するか？
• RQ3 HGRecは、多様な実世界のデータセットにおいて、既存のSOTAモデルをどの程度上回るか？
• RQ4 モデルの注目メカニズムは、推薦に最も有益なメタパスを効果的に特定・優先しているか？
• RQ5 モデルの深さ（集約層の数）は性能にどのように影響し、高次意味情報を捉える最適な深さは何か？

主な発見

• HGRecは、Movielens、Amazon、Yelpの3つのベンチマークデータセットすべてでSOTA性能を達成し、最も強力なベースラインであるNGCFを、Recall@10で最大6.80%上回った。
• NGCFと比較して、MovielensではNDCG@10が8.19%向上、Amazonでは5.13%、Yelpでは12.6%向上した。これは、高次意味情報の有効性を示している。
• すべてのメタパスに等しい注目を割り当てるHGRec-という変種よりも、HGRecが一貫して優れた性能を示しており、注目メカニズムによるメタパス重み付けの価値を裏付けている。
• セマンティック集約モジュールの性能はL=3層でピークに達しており、3ホップのメタパス情報が過学習を引き起こす前までに最適な高次意味情報を提供していることを示している。
• モデルは一般化性能が高く、すべての指標（Pre@10、Recall@10、NDCG@10、HR@10）で向上を示し、注目重みを通じて解釈可能性が潜在的に高い可能性がある。