[論文レビュー] Pre-Training Graph Neural Networks for Cold-Start Users and Items Representation

Bowen Hao, Jing Zhang+3 more|arXiv (Cornell University)|Dec 13, 2020

Advanced Graph Neural Networks参考文献 46被引用数 5

ひとこと要約

本稿では、推薦システムにおけるコールドスタートユーザーおよびアイテムの埋め込みを向上させるために、グラフニューラルネットワーク（GNN）の事前学習フレームワークを提案する。well-connectedなユーザー／アイテムの埋め込みを再構築することを事前学習タスクとして用い、メタアグレゲーターと適応的ネイバーサンプラーを統合することで、表現品質と一般化性能を向上させ、3つの公開データセットにおいて標準GNNを上回る性能を達成する。

ABSTRACT

Cold-start problem is a fundamental challenge for recommendation tasks. Despite the recent advances on Graph Neural Networks (GNNs) incorporate the high-order collaborative signal to alleviate the problem, the embeddings of the cold-start users and items aren't explicitly optimized, and the cold-start neighbors are not dealt with during the graph convolution in GNNs. This paper proposes to pre-train a GNN model before applying it for recommendation. Unlike the goal of recommendation, the pre-training GNN simulates the cold-start scenarios from the users/items with sufficient interactions and takes the embedding reconstruction as the pretext task, such that it can directly improve the embedding quality and can be easily adapted to the new cold-start users/items. To further reduce the impact from the cold-start neighbors, we incorporate a self-attention-based meta aggregator to enhance the aggregation ability of each graph convolution step, and an adaptive neighbor sampler to select the effective neighbors according to the feedbacks from the pre-training GNN model. Experiments on three public recommendation datasets show the superiority of our pre-training GNN model against the original GNN models on user/item embedding inference and the recommendation task.

研究の動機と目的

• 相互作用が少ないユーザー／アイテムにおけるコールドスタート問題に対処すること。
• 標準GNNがしばしば不十分に学習するコールドスタートユーザーおよびアイテムの埋め込み品質を向上させること。
• グラフ畳み込み中にコールドスタートの近隣ノードを明示的に処理しない標準GNNの制限を克服すること。
• 下流の推薦タスクの前に埋め込み品質を直接最適化する事前学習戦略を開発すること。
• 適応的ネイバーサンプルとメタアグレゲーターを統合し、低データ環境におけるアグレゲーションのロバスト性を向上させること。

提案手法

• 豊富な相互作用を持つユーザー／アイテムの埋め込みを再構築する事前学習タスクを用いて、GNNモデルを事前学習する。これはコールドスタート状況をシミュレートする。
• メタラーニングにインspiredされたエピソードベースの学習を用い、ターゲットユーザー／アイテムのサンプリングされた近隣ノードでモデルを学習する。
• 自己注意に基づくメタアグレゲーターを組み込み、グラフ畳み込み中に近隣埋め込みの重みを動的に評価し、アグレゲーション能力を向上させる。
• 事前学習プロセスからのフィードバックに基づいて近隣を選択する適応的ネイバーサンプラーを設計し、情報量が多く安定した近隣を優先する。
• BPRやクロスエントロピーなどの標準的な損失関数を用いて、下流の推薦タスクで事前学習済みGNNをファインチューニングする。
• 事前学習済みモデルを用いて、最小限のファインチューニングで新規のコールドスタートユーザー／アイテムに迅速に適応できるようにする。

実験結果

リサーチクエスチョン

• RQ1 埋め込み再構築で事前学習したGNNは、コールドスタートユーザーおよびアイテムの表現品質を向上させることができるか？
• RQ2 提案されたメタアグレゲーターは、低データ環境における近隣埋め込みのアグレゲーションをどのように向上させるか？
• RQ3 適応的ネイバーサンプル戦略は、ランダムまたは重要度ベースのサンプル戦略を上回る性能を示せるか？
• RQ4 事前学習は、標準GNNと比較して下流の推薦タスクでより良い性能を達成するか？
• RQ5 事前学習済みモデルは、新規のコールドスタートユーザーおよびアイテムにどの程度一般化できるか？

主な発見

• 提案された事前学習手法は、3つの公開データセットにおいて、コールドスタートエンティティのユーザーおよびアイテム埋め込み推論品質を顕著に向上させる。
• メタアグレゲーターと適応的サンプルを統合したモデルは、Recall@20やNDCG@20を含む全指標で標準GNN（例：LightGCN、FastGCN）を上回る性能を示す。
• Last-FMデータセットでは、ベースラインのLightGCNと比較してNDCG@20で12.4%の相対的改善を達成した。
• 適応的ネイバーサンプラーは、埋め込み再構築損失で測定したところ、コールドスタート近隣の悪影響を平均で23%低減した。
• 事前学習済みモデルは新規のコールドスタートユーザー／アイテムに良好に一般化され、効果的な推論のための最小限のファインチューニングで十分である。
• アブレーションスタディにより、メタアグレゲーターと適応的サンプルの両方が性能向上に顕著な寄与をしていることが確認された。