[論文レビュー] MultiBiSage: A Web-Scale Recommendation System Using Multiple Bipartite Graphs at Pinterest

Saket Gurukar, Nikil Pancha+6 more|arXiv (Cornell University)|May 21, 2022

Recommender Systems and Techniques被引用数 5

ひとこと要約

MultiBiSageは、ユーザー-ピン、ユーザー-ボード、ユーザー広告など、多様なPinterestのエンティティと相互作用を捉える複数の二部グラフを活用して、トランスフォーマーに基づく集約モデルにより高品質なピン埋め込みを学習するスケーラブルで生産環境対応の推薦システムを提案する。既存のインfraストラクチャを再利用することでスケーラビリティを確保しながら、異種グラフ信号を統合することで、複数のエンゲージメント指標において導入済みのPinSageシステムを著しく上回る性能を達成する。

ABSTRACT

Graph Convolutional Networks (GCN) can efficiently integrate graph structure and node features to learn high-quality node embeddings. These embeddings can then be used for several tasks such as recommendation and search. At Pinterest, we have developed and deployed PinSage, a data-efficient GCN that learns pin embeddings from the Pin-Board graph. The Pin-Board graph contains pin and board entities and the graph captures the pin belongs to a board interaction. However, there exist several entities at Pinterest such as users, idea pins, creators, and there exist heterogeneous interactions among these entities such as add-to-cart, follow, long-click. In this work, we show that training deep learning models on graphs that captures these diverse interactions would result in learning higher-quality pin embeddings than training PinSage on only the Pin-Board graph. To that end, we model the diverse entities and their diverse interactions through multiple bipartite graphs and propose a novel data-efficient MultiBiSage model. MultiBiSage can capture the graph structure of multiple bipartite graphs to learn high-quality pin embeddings. We take this pragmatic approach as it allows us to utilize the existing infrastructure developed at Pinterest -- such as Pixie system that can perform optimized random-walks on billion node graphs, along with existing training and deployment workflows. We train MultiBiSage on six bipartite graphs including our Pin-Board graph. Our offline metrics show that MultiBiSage significantly outperforms the deployed latest version of PinSage on multiple user engagement metrics.

研究の動機と目的

• ピン-ボードグラフ以外の多様なユーザー相互作用を統合することで、ピン埋め込みの品質を向上させること。
• 単一マシンでの学習を必要とせず、48億以上のノード、97億以上のエッジを含むWeb規模のデータに対して、異種グラフニューラルネットワークのスケーラブルな学習を可能にすること。
• Pixieによる近傍サンプリングと既存のトレーニング/デプロイメントパイプラインを含む、既存の生産環境インfraストラクチャとの互換性を維持すること。
• マルチグラフ学習が単一グラフアプローチよりも顕著に優れた下流の推薦パフォーマンスを達成できることを示すこと。
• 性能を維持しながら最小限の有効な近傍数を同定することで、推論効率を最適化すること。

提案手法

• Pinterestの異種グラフを、ユーザー-ピン、ユーザー-ボード、ユーザー広告、ユーザー-プロダクト、ユーザー-リコメンド、ユーザー-クエリなど、6つの異なる二部グラフに分解する。
• Pixieシステムを用いて、数十億ノードのグラフ上で最適化されたランダムウォークを実行し、ピンの局所的グラフ近傍を事前計算する。
• トランスフォーマー・エンコーダー・アーキテクチャを用いて、各二部グラフから別個のピン埋め込みを学習するMultiBiSageモデルを訓練する。
• k個の二部グラフから得られる個々の埋め込みを、2番目のトランスフォーマー層を用いて集約し、最終的な統合ピン埋め込みを生成する。
• 最終集約の直前で、要素ごとの和、ハダマード積、またはフィードフォワードネットワーク（FFN）などの特徴集約技術を用いて埋め込みを結合する。
• 生産環境での実現可能性と低コストなエンジニアリング負荷を確保するため、既存のトレーニングおよび特徴抽出ワークフローを活用する。

実験結果

リサーチクエスチョン

• RQ1 複数の異種二部グラフからの学習は、ピン-ボードグラフのみを用いた場合と比較して、ピン埋め込みの品質を向上させることができるか？
• RQ2 各グラフごとのサンプリング近傍数の増加が、モデルパフォーマンスと推論速度に与える影響は何か？
• RQ3 どの個々の二部グラフが推薦パフォーマンスの向上に最も寄与しているか？
• RQ4 トランスフォーマーに基づく集約メカニズムは、複数のグラフ構造からの信号を効果的に統合できるか？
• RQ5 性能を維持しながら、より少ない近傍数で高いパフォーマンスを達成することは可能か？

主な発見

• 6つの二部グラフすべてを用いて訓練されたMultiBiSageは、すべてのエンゲージメント指標において導入済みのPinSageモデルを統計的に有意に上回り、広告では4.3%の向上、アイデアピンでは3.18–4.42%の向上を達成した。
• 1グラフあたり50近傍のモデルが10または20近傍のモデルを上回る性能を示したが、10および20近傍のモデル間には統計的に有意な差が認められなかった。
• ユーザー広告およびユーザープロダクトグラフの統合により、広告およびプロダクトピンの推薦パフォーマンスに顕著な向上が見られた。
• ケーススタディの結果、MultiBiSageは意味的整合性を向上させた：関連ピンはPinSageのトップ5内では364位だったが、MultiBiSageでは5位にランクアップし、5つの近傍のうち4つが電動スクーター関連であった。
• ピン-ボードグラフを除く個々の二部グラフからの学習では、PinSageを下回るパフォーマンスにとどまり、ピン-ボードグラフの規模の優位性を裏付けた。
• 集約方法（和、ハダマード積、FFNなど）の選択がパフォーマンスに与える影響は最小限であり、有意水準0.01で統計的に有意な差は認められなかった。