[論文レビュー] An Adaptive Graph Pre-training Framework for Localized Collaborative Filtering

Yiqi Wang, Chaozhuo Li+6 more|arXiv (Cornell University)|Dec 14, 2021

Recommender Systems and Techniques被引用数 6

ひとこと要約

本論文では、局所的共同フィルタリングにおけるデータスパarsityを解消することを目的とした、適応的グラフ事前学習フレームワークADAPTを提案する。GNNベースのレコメンデーションシステムにおけるデータスパarsity問題に対処するため、グローバルな埋め込みを学習せずにローカルなユーザ・アイテム構造をエンコードするメタ-LGNNと、各グラフごとに事前学習済みの知識をパーソナライズするGNNアダプタを導入することで、グラフ間で共通するパターンを効果的に転送しつつ、グラフ固有の特徴を保持する。このアプローチにより、スパースなデータにおいて顕著なレコメンデーション性能の向上が達成される。

ABSTRACT

Graph neural networks (GNNs) have been widely applied in the recommendation tasks and have obtained very appealing performance. However, most GNN-based recommendation methods suffer from the problem of data sparsity in practice. Meanwhile, pre-training techniques have achieved great success in mitigating data sparsity in various domains such as natural language processing (NLP) and computer vision (CV). Thus, graph pre-training has the great potential to alleviate data sparsity in GNN-based recommendations. However, pre-training GNNs for recommendations face unique challenges. For example, user-item interaction graphs in different recommendation tasks have distinct sets of users and items, and they often present different properties. Therefore, the successful mechanisms commonly used in NLP and CV to transfer knowledge from pre-training tasks to downstream tasks such as sharing learned embeddings or feature extractors are not directly applicable to existing GNN-based recommendations models. To tackle these challenges, we delicately design an adaptive graph pre-training framework for localized collaborative filtering (ADAPT). It does not require transferring user/item embeddings, and is able to capture both the common knowledge across different graphs and the uniqueness for each graph. Extensive experimental results have demonstrated the effectiveness and superiority of ADAPT.

研究の動機と目的

• GNNベースのレコメンデーションシステムにおける、特にユーザ・アイテム相互作用グラフがスパースな状況においても持続的に発生するデータスパarsityの課題を解決すること。
• 複数のソースグラフからターゲットの下流レコメンデーショングラフへと知識を効果的に転送できる事前学習フレームワークを設計すること。
• NLP や CV で用いられる共通の語彙や特徴に依存する従来の事前学習手法の制限を克服し、グラフ構造のレコメンデーションデータに特化した手法を構築すること。
• 現実のレコメンデーションシナリオで一般的な、グラフ間で共通のユーザまたはアイテム埋め込みを必要としない知識転送を可能にすること。
• グラフ間の共通パターンと個々のグラフ固有の構造的特性の両方を効果的に捉える、柔軟で適応的なメカニズムを開発すること。

提案手法

• グローバルなユーザおよびアイテム埋め込みを学習する必要がなく、ユーザ・アイテムペアの局所的近傍から直接共同フィルタリング信号をエンコードするメタ-LGNN（ローカルグラフニューラルネットワーク）を提案する。
• 事前学習用のローカルグラフ構造を表現するため、ユーザ・アイテム相互作用パターンに基づく新しいノードラベル戦略を採用する。
• 事前学習済みモデルをターゲットグラフの特定の構造に適応させるために、メタ-LGNNを微調整するGNNアダプタモジュールを導入する。
• 埋め込み再構成を事前学習の目的関数として使用することで、履歴相互作用が全くないコールドスタートユーザやアイテムに対しても、学習済みの表現から利益を得られるようにする。
• 複数の独立したユーザ・アイテム相互作用グラフを用いて事前学習することで、一般化可能かつ柔軟な表現を学習可能にする。
• 2段階の訓練プロセスを設計する：まずソースグラフ上でメタ-LGNNを事前学習し、次にGNNアダプタを用いてターゲットグラフに適応させる。

実験結果

リサーチクエスチョン

• RQ1 グラフ事前学習は、GNNベースのレコメンデーションシステムにおけるデータスパarsityを効果的に軽減できるか？
• RQ2 共通のユーザやアイテムを持たない異なるユーザ・アイテム相互作用グラフ間で、知識をどのように転送できるか？
• RQ3 共通する構造的パターンとグラフ固有の特徴の両方を保持できる事前学習フレームワークを設計できるか？
• RQ4 NLP や CV で見られる共通の埋め込みや特徴抽出器に依存せずに、GNNモデルを事前学習できるか？
• RQ5 提案された適応的フレームワークは、スパースなデータにおける性能と耐障害性の観点から、既存のGNNベースのレコメンデーションモデルと比較して優れているか？

主な発見

• ADAPTは、最先端のGNNベースのモデルと比較して、スパースなユーザ・アイテム相互作用グラフにおいて顕著に高いレコメンデーション性能を達成する。
• 提案されたメタ-LGNNは、グローバルなユーザおよびアイテム埋め込みを学習しないことで、より優れた一般化性能を実現する。
• GNNアダプタにより、事前学習済みの知識が個々の下流グラフに効果的にパーソナライズされ、ターゲット固有の構造への適応が向上する。
• 埋め込み再構成を用いた事前学習により、履歴相互作用が全くないコールドスタートユーザやアイテムに対しても、意味のある表現が得られる。
• 広範な実験により、ADAPTは複数のベンチマークデータセットで既存手法を上回ることを示しており、特に低データ環境下での性能が顕著に優れている。
• アブレーションスタディの結果、メタ-LGNNとGNNアダプタの両方が、全体の性能向上に顕著に寄与することが確認された。