[論文レビュー] Large Scale Product Graph Construction for Recommendation in E-commerce

Xiaoyong Yang, Yadong Zhu+3 more|arXiv (Cornell University)|Oct 12, 2020

Recommender Systems and Techniques参考文献 20被引用数 7

ひとこと要約

本論文では、ユーザー行動データを活用して代替的・補完的製品関係をモデル化する大規模な製品グラフを構築するための Swing および Surprise アルゴリズムを提案する。準局所構造とカテゴリベースのクラスタリングを活用することで、スパarsity 対策と耐障害性が向上し、10億人規模のシステムにおいて O(1) の応答時間を持つ。

ABSTRACT

Building a recommendation system that serves billions of users on daily basis is a challenging problem, as the system needs to make astronomical number of predictions per second based on real-time user behaviors with O(1) time complexity. Such kind of large scale recommendation systems usually rely heavily on pre-built index of products to speedup the recommendation service so that online user waiting time is un-noticeable. One important indexing structure is the product-product index, where one can retrieval a list of ranked products given a seed product. The index can be viewed as a weighted product-product graph. In this paper, we present our novel technologies to efficiently build such kind of indexed product graphs. In particular, we propose the Swing algorithm to capture the substitute relationships between products, which can utilize the substructures of user-item click bi-partitive graph. Then we propose the Surprise algorithm for the modeling of complementary product relationships, which utilizes product category information and solves the sparsity problem of user co-purchasing graph via clustering technique. Base on these two approaches, we can build the basis product graph for recommendation in Taobao. The approaches are evaluated comprehensively with both offline and online experiments, and the results demonstrate the effectiveness and efficiency of the work.

研究の動機と目的

• 10億人規模の e コマースプラットフォームにおけるリアルタイム推薦のためのスケーラブルで正確な製品グラフを構築する課題に対処する。
• 共購入データのスパarsity やノイズに敏感な従来のアイテムベースの協調フィルタリングの限界を克服する。
• ノイズの多いテキスト特徴量に依存せず、非教師ありで行動に依存するアプローチにより、代替的および補完的製品関係をモデル化する。
• O(1) の検索複雑度を持つ事前インデックス化された製品-製品グラフを構築することで、スケーラビリティと低遅延応答を確保する。
• 単なるペairwise類似度を越えて、ユーザー-アイテム相互作用グラフ内の構造的パターンを捉えることで、推薦品質を向上させる。

提案手法

• 代替的関係を特定するための Swing アルゴリズムを提案し、ユーザー-アイテム双方向グラフにおける安定した準局所構造（「スイング」）を同定することで、単一エッジ類似度よりも高い耐障害性を実現する。
• スイングに基づく類似度計算を採用し、共通のユーザー行動にわたる信号を集約することで、一時的または偶然のクリックに起因するノイズを低減する。
• カテゴリ情報とラベル伝播を用いたクラスタリングにより、共購入グラフのスパarsity を軽減する Surprise アルゴリズムを導入し、補完的関係をモデル化する。
• 時間に依存する伝播を Surprise に組み込むことで、購入の順序を反映させ、補完的関係が方向的かつ文脈的に意味を持つようにする。
• Swing と Surprise それぞれに基づいて、代替的および補完的製品グラフを別々に構築し、本番の推薦パイプラインにおける高速検索インデックスとして活用する。
• テキスト的製品記述のノイズやスパarsity に依存せず、実際のユーザー行動データ（クリックと購入）を主な信号として活用する。

実験結果

リサーチクエスチョン

• RQ1 ユーザー-アイテム相互作用グラフにおける準局所的構造的パターンは、どのように活用することで代替的製品推薦の耐障害性と正確性が向上するか？
• RQ2 共購入データの極端なスパarsity に直面した場合、補完的製品関係を効果的にモデル化するにはどのような手法が有効か？
• RQ3 製品のカテゴリ情報とクラスタリングを活用することで、補完的関係の推論の信頼性はどのように向上するか？
• RQ4 共購入グラフにおける時間に依存する伝播は、補完的推薦の現実性と方向性を向上させることができるか？
• RQ5 Swing および Surprise は、大規模で現実世界の e コマース環境において、従来の局所類似度手法をどの程度上回るか？

主な発見

• Swing アルゴリズムは、ポイントワイズ類似度の代わりに安定した構造に依存する信号伝播を採用することで、ノイズの多いユーザークリックへの感受性を著しく低減し、予測の耐障害性を向上させる。
• Surprise はカテゴリベースのクラスタリングとラベル伝播を用いることで、共購入グラフのスパarsity を効果的に軽減し、信頼性の高い補完的製品ペアの発見を可能にする。
• Surprise に組み込まれた時間に依存する伝播により、補完的関係が現実の購入順序を反映し、文脈的な関連性が向上する。
• オフライン評価では、両アルゴリズムがベースラインの局所類似度手法に比べて、関係性予測においてより高い精度と再現率を達成していることが示された。
• Taobao でのオンライン A/B テストにより、これらの手法で構築された製品グラフが、クリックスルーレートやコンversion といった重要なビジネス指標に顕著な改善をもたらすことが確認された。
• 提案された製品グラフ構築パイプラインは、10億人規模のユーザーと製品にスケーリング可能であり、本番環境のリアルタイム O(1) 推奨検索をサポートする。