[論文レビュー] Graph Neural Pre-training for Enhancing Recommendations using Side Information

Zaiqiao Meng, Siwei Liu+2 more|arXiv (Cornell University)|Jul 8, 2021

Recommender Systems and Techniques参考文献 61被引用数 8

ひとこと要約

本論文は、ユーザーおよびアイテムのサイド情報を利用することで、推薦システムの性能を向上させるために、グラフニューラルネットワーク（GNN）ベースの事前学習スキームを提案する。GCN-PおよびCOM-Pモデルを導入し、それぞれ単一関係性および多関係性グラフを用いてエンティティ埋め込みを事前学習する。その後、既存の推薦モデルと微調整することで、複数のデータセットおよびベースラインにおいて、有効性と安定性の両面で顕著な向上が得られた。

ABSTRACT

Leveraging the side information associated with entities (i.e. users and items) to enhance the performance of recommendation systems has been widely recognized as an important modelling dimension. While many existing approaches focus on the integration scheme to incorporate entity side information -- by combining the recommendation loss function with an extra side information-aware loss -- in this paper, we propose instead a novel pre-training scheme for leveraging the side information. In particular, we first pre-train a representation model using the side information of the entities, and then fine-tune it using an existing general representation-based recommendation model. Specifically, we propose two pre-training models, named GCN-P and COM-P, by considering the entities and their relations constructed from side information as two different types of graphs respectively, to pre-train entity embeddings. For the GCN-P model, two single-relational graphs are constructed from all the users' and items' side information respectively, to pre-train entity representations by using the Graph Convolutional Networks. For the COM-P model, two multi-relational graphs are constructed to pre-train the entity representations by using the Composition-based Graph Convolutional Networks. An extensive evaluation of our pre-training models fine-tuned under four general representation-based recommender models, i.e. MF, NCF, NGCF and LightGCN, shows that effectively pre-training embeddings with both the user's and item's side information can significantly improve these original models in terms of both effectiveness and stability.

研究の動機と目的

• 推薦システムにおけるユーザー・アイテム相互作用データのスパarsityを、豊富なサイド情報を利用することで緩和すること。
• 共同損失最適化で学習される既存の推薦モデルの不安定さとハイパーパrameterへの感受性を克服すること。
• サイド情報を利用したより良いエンティティ埋め込みの初期化により、推薦性能を向上させること。
• サイド情報グラフ上で事前学習を実施することで、下流の推薦がより安定的かつ効果的になるかどうかを検証すること。
• 任意の表現ベースの推薦モデルに適用可能な汎用的な事前学習フレームワークを提供すること。

提案手法

• GCN-Pでは、ユーザーおよびアイテムのサイド情報（例：年齢層、ジャンルなど）から単一関係性グラフを構築し、グラフ畳み込みネットワーク（GCN）を用いてエンティティ埋め込みを学習する。
• COM-Pでは、多様なエンティティ特徴と関係性を捉えた多関係性グラフを構築し、コンポジションベースのグラフ畳み込みネットワークを用いて複雑な相互作用をモデル化する。
• 標準的な推薦モデルとの微調整の前に、サイド情報グラフ上でGNNを用いてエンティティ埋め込みを事前学習する。
• MF、NCF、NGCF、LightGCNの4つの一般的な推薦モデルを用いて、事前学習済み埋め込みを微調整する。
• 2段階のトレーニングパイプラインを採用：サイド情報グラフでの事前学習 → ユーザー・アイテム相互作用でのエンドツーエンドの微調整。
• NDCGと50回のランダムシードでの標準偏差を用いて性能を評価し、有効性と安定性の両面を測定する。

実験結果

リサーチクエスチョン

• RQ1 サイド情報グラフ上でエンティティ埋め込みを事前学習することで、下流の推薦モデルの有効性が向上するか？
• RQ2 提案された事前学習スキームは、異なるランダム初期化においてもモデルの安定性を向上させるか？
• RQ3 単一関係性（GCN-P）と多関係性（COM-P）のグラフ構築法は、性能とロバストネスの観点でどのように比較できるか？
• RQ4 相互作用のスパarsityが異なるデータセットにおいて、事前学習が性能にどの程度寄与するか？
• RQ5 アーキテクチャの変更なしに、事前学習フレームワークが異なる推薦モデルに一般化可能か？

主な発見

• 提案された事前学習スキームは、すべてのデータセットにおいて4つのベースライン推薦モデル（MF、NCF、NGCF、LightGCN）のNDCG性能を一貫して向上させた。
• 多関係性グラフに基づくCOM-Pモデルは、すべての評価指標でGCN-Pモデルを上回り、より洗練された関係性モデリングが初期化品質を向上させることを示している。
• Epinionsデータセットでは、最先端のベースライン比でNDCG@10が48%向上した。
• Foursquareデータセットでは、NDCG@10が21%向上し、現実世界のスパースな環境でも顕著な向上が得られた。
• 50回の実行における性能のばらつきが顕著に減少し、標準偏差が著しく小さくなったことから、モデルの安定性が向上していることが確認された。
• 埋め込み次元数やランク付けカットオフ（k）の異なる設定でも、性能向上が一貫しており、多様な推薦シナリオにおけるロバストネスが裏付けられた。