[論文レビュー] Graph Factorization Machines for Cross-Domain Recommendation

Dongbo Xi, Fuzhen Zhuang+4 more|arXiv (Cornell University)|Jul 12, 2020

Recommender Systems and Techniques参考文献 35被引用数 5

ひとこと要約

本稿では、グラフ構造データにおける多階層の近隣相互作用を効果的に集約するため、因子化マシンを活用する新しいGNNモデル、Graph Factorization Machines (GFM) を提案する。さらに、GFM や他のGNNに適用可能な汎用的なクロスドメインフレームワークを導入し、複数の現実世界のデータセットにおいてスパースなデータに対して顕著な性能向上を達成する。

ABSTRACT

Recently, graph neural networks (GNNs) have been successfully applied to recommender systems. In recommender systems, the user's feedback behavior on an item is usually the result of multiple factors acting at the same time. However, a long-standing challenge is how to effectively aggregate multi-order interactions in GNN. In this paper, we propose a Graph Factorization Machine (GFM) which utilizes the popular Factorization Machine to aggregate multi-order interactions from neighborhood for recommendation. Meanwhile, cross-domain recommendation has emerged as a viable method to solve the data sparsity problem in recommender systems. However, most existing cross-domain recommendation methods might fail when confronting the graph-structured data. In order to tackle the problem, we propose a general cross-domain recommendation framework which can be applied not only to the proposed GFM, but also to other GNN models. We conduct experiments on four pairs of datasets to demonstrate the superior performance of the GFM. Besides, based on general cross-domain recommendation experiments, we also demonstrate that our cross-domain framework could not only contribute to the cross-domain recommendation task with the GFM, but also be universal and expandable for various existing GNN models.

研究の動機と目的

• 平均値やプーリングといった単純な集約メカニズムに起因する、既存のGNNが複雑な多階層特徴相互作用を捉えることのできない制限を解消する。
• グラフ構造データを活用することで、スパースな推薦システムにおけるデータスパarsityを克服し、効果的なクロスドメイン知識移行を実現する。
• 特定のアーキテクチャに限定されない、さまざまなGNNモデルと互換性を持つ汎用的なクロスドメイン推薦フレームワークを構築する。
• 共有ノード初期化と共有グラフパラメータを用いて、ドメイン共有とドメイン固有の表現を同時に学習することで、推薦性能を向上させる。
• 提案されたGFMおよびクロスドメインフレームワークの有効性を、多様な現実世界のデータセットおよび複数のGNNベースラインを用いて実証する。

提案手法

• 因子化マシンを用いて2階層の近隣メッセージを集約することで、スパースで高次元のユーザ・アイテム相互作用における特徴相互作用を効果的にモデル化できる、Graph Factorization Machine (GFM) を提案する。
• 複数のGFMレイヤーをスタックすることで、反復的メッセージパッシングにより高階層の近隣情報を取り込むことができ、1階層相互作用を超える表現学習を向上させる。
• ソースドメインとターゲットドメインのノードを共有表現（例：共有ユーザーやアイテム）で初期化することで、ドメイン共有知識の移行を可能にする、汎用的なクロスドメイン推薦フレームワークを設計する。
• 各ドメインのグラフ構造を用いてドメイン固有のグラフ表現を同時に最適化するが、ドメイン間でグラフパラメータを共有することで一貫性を促進する。
• 推論時にドメイン共有およびドメイン固有の特徴を統合することで、移行可能なパターンと独自のパターンの両方の利点を活かした最終予測を生成する。
• GCN、GAT、GraphSAGE などのさまざまなGNNモデルにこのフレームワークを適用し、GFMに限らず汎用性と拡張性を実証する。

実験結果

リサーチクエスチョン

• RQ1 標準的なGNNと比較して、因子化マシンを活用するGNNモデルが、グラフ構造の推薦システムにおいて多階層の特徴相互作用をより効果的に捉えることができるか？
• RQ2 スパースでグラフ構造のデータを有するドメイン間で知識を移行する際、提案されたクロスドメインフレームワークは推薦性能をどの程度向上させるか？
• RQ3 GCN、GAT、GraphSAGE などの異なるGNNアーキテクチャに、提案されたフレームワークはどの程度一般化可能か？
• RQ4 ドメイン固有の表現のみを用いる場合と比較して、共有ノード初期化がクロスドメイン推薦タスクにおいて顕著に性能を向上させるか？
• RQ5 ドメイン共有およびドメイン固有の特徴を組み合わせることで、単独で使用する場合よりも優れた性能が得られるか？

主な発見

• 提案されたGFMモデルは、4つの現実世界のクロスドメイン推薦データセットにおいて、FM、GCN、GAT などの強力なベースラインを上回る最先端の性能を達成した。
• CD-GFM（クロスドメインGFM）は、ベースラインのGFMモデルと比較して、平均でHR@1に25.2%、HR@10に10.5%の向上を示し、クロスドメインフレームワークの有効性を実証した。
• アブレーションスタディの結果、共有ノード初期化のコンponentが性能に顕著な寄与をしていることが確認され、全テストデータセットでp値 < 0.05であり、統計的に有意であった。
• 汎用クロスドメインフレームワークは、40の異なるタスク（4つのデータセットペア × 10のモデル）において性能を向上させ、GCN、GAT、GraphSAGEのバリエーションにおいて一貫した向上を示した。
• 特にGCNにおいて向上が顕著で、これは単一ドメイン設定下でのGCNの相対的に弱い性能に起因すると考えられ、フレームワークが弱いベースモデルを是正できる能力を示している。
• GraphSAGEにおける単純なアグリゲータ（平均値やプーリング）を用いても、フレームワークは頑健かつ有効に機能しており、多様なGNNアーキテクチャと広範な相性を示している。