[論文レビュー] Knowledge-Enhanced Hierarchical Graph Transformer Network for Multi-Behavior Recommendation

Lianghao Xia, Chao Huang+6 more|arXiv (Cornell University)|Oct 8, 2021

Recommender Systems and Techniques被引用数 13

ひとこと要約

この論文は、多様なタイプのユーザーアイテム相互作用（例：閲覧、お気に入り、購入）を、タイプ固有の行動パターン、知識グラフを介したアイテムの意味的関係、および時間的ダイナミクスを統合的に捉えることで、マルチタイプのユーザーアイテム相互作用をモデル化する知識強化型階層的グラフトランスフォーマーネットワーク（KHGT）を提案する。マルチビヘイビア相互注意とゲート付き集約を用いることで、異種の相互作用を動的に重み付けし、Yelp、MovieLens、Online Retailの3つの実世界データセットで最先端の性能を達成した。

ABSTRACT

Accurate user and item embedding learning is crucial for modern recommender systems. However, most existing recommendation techniques have thus far focused on modeling users' preferences over singular type of user-item interactions. Many practical recommendation scenarios involve multi-typed user interactive behaviors (e.g., page view, add-to-favorite and purchase), which presents unique challenges that cannot be handled by current recommendation solutions. In particular: i) complex inter-dependencies across different types of user behaviors; ii) the incorporation of knowledge-aware item relations into the multi-behavior recommendation framework; iii) dynamic characteristics of multi-typed user-item interactions. To tackle these challenges, this work proposes a Knowledge-Enhanced Hierarchical Graph Transformer Network (KHGT), to investigate multi-typed interactive patterns between users and items in recommender systems. Specifically, KHGT is built upon a graph-structured neural architecture to i) capture type-specific behavior characteristics; ii) explicitly discriminate which types of user-item interactions are more important in assisting the forecasting task on the target behavior. Additionally, we further integrate the graph attention layer with the temporal encoding strategy, to empower the learned embeddings be reflective of both dedicated multiplex user-item and item-item relations, as well as the underlying interaction dynamics. Extensive experiments conducted on three real-world datasets show that KHGT consistently outperforms many state-of-the-art recommendation methods across various evaluation settings. Our implementation code is available at https://github.com/akaxlh/KHGT.

研究の動機と目的

• 推薦システムにおける複数種類のユーザーアイテム相互作用の間の複雑な相互依存関係をモデル化する課題に対処すること。
• 統一されたグラフ構造フレームワークを通じて、知識に配慮したアイテムの意味的関係をマルチビヘイビア推薦に統合すること。
• グラフアテンション機構に時間的符号化を組み込むことで、時間経過に伴うユーザーの相互作用パターンの動的変化を捉えること。
• ターゲット行動予測のための異なる相互作用タイプの重要性を区別できる階層的で行動特化型の表現学習を可能にすること。
• 統一的で説明可能なアーキテクチャ内で、異なるタイプ間の行動的依存関係とアイテム同士の関係を明示的にモデル化することで、推薦精度を向上させること。

提案手法

• KHGTは、タイプ固有の表現空間内で、ユーザーアイテム関係およびアイテム同士の関係に沿って、埋め込みを再帰的に伝搬するマルチビヘイビアグラフトランスフォーマーネットワークを採用する。
• 時間的符号化戦略を適用して、時間に敏感な文脈をグラフアテンション機構に組み込み、時間的経過に伴う相互作用のダイナミクスを捉える。
• マルチビヘイビア相互注意エンコーダーを用いて、異なるタイプのユーザーアイテム相互作用間の対間依存関係をモデル化し、階層的な関連性を学習する。
• ゲート付き集約層により、ターゲット行動予測タスクにおける関連性に応じて、異なる行動タイプからの寄与を動的に重み付ける。
• モデルは知識グラフの埋め込みを統合してアイテム表現を豊かにし、アイテム関係の意味的理解を強化する。
• スモールサブグラフサンプリングとドロップアウト正則化を用いることで、データスパarsityに強い訓練の安定性と一般化性能を向上させる。

実験結果

リサーチクエスチョン

• RQ1 複数タイプのユーザービヘイビア（例：閲覧、お気に入り、購入）を、統一された推薦フレームワーク内で効果的にモデル化する方法は何か？
• RQ2 知識に配慮したアイテムの意味的関係は、マルチビヘイビア推薦性能をどの程度向上させ得るか？
• RQ3 ユーザー相互作用の時間的ダイナミクスは、マルチビヘイビア設定における行動予測の正確性にどのように影響するか？
• RQ4 階層的アテンション機構は、異なるユーザービヘイビア間のクロスタイプ依存関係を効果的に捉えることができるか？
• RQ5 マルチビヘイビア相互注意やゲート付き集約といったアーキテクチャ的要素が、推薦性能に与える影響は何か？

主な発見

• KHGTは、Yelp、MovieLens、Online Retailの3つのデータセットにおいて、HR@10およびNDCG@10の両指標で、複数の最先端手法を上回った。
• Yelpデータセットでは、130,000個のサブグラフノードを用いてテストした際、HR@10が0.478、NDCG@10が0.469を達成した。
• 2層の再帰的メッセージ伝達層を備えたモデルが最良の性能を示し、より深い階層的集約の利点を示した。
• より大きなテストスケールのコンテキスト（例：130,000ノード）を用いたサブグラフサンプリングは精度を向上させたが、ドロップアウトを用いた小さなトレーニングサンプルは過学習を低減した。
• タイムスロットサイズの分析から、時間的粒度が粗くなると性能が低下することが判明し、細粒度の時間的符号化の重要性が示された。
• 事例研究により、KHGTが行動タイプとアイテム関係の間で説明可能な階層的関連スコアを学習していることが示された。明るい色は、より高い学習済み関連性を示している。