[論文レビュー] Related Pins at Pinterest: The Evolution of a Real-World Recommender System

David C. Liu, Stephanie Rogers+6 more|arXiv (Cornell University)|Feb 26, 2017

Recommender Systems and Techniques参考文献 18被引用数 10

ひとこと要約

この論文は、PinterestのRelated Pinsレコメンデーションシステムの3年間にわたる進化を詳細に記述しており、ユーザー参加の40％以上を占めるプロダクションスケールのシステムである。最小限のヒューリスティックベースのプロトタイプから始まり、段階的な改善を経て、候補生成、記憶化（MemBoost）、学習によるランク付けを統合した。フィードバックループ、位置バイアス、コンテンツ活性化といった現実世界の課題に対処しながら、反復的なエンジニアリングとコンponentの共同学習を通じて、高い関連性とスケーラビリティを達成した。

ABSTRACT

Related Pins is the Web-scale recommender system that powers over 40% of user engagement on Pinterest. This paper is a longitudinal study of three years of its development, exploring the evolution of the system and its components from prototypes to present state. Each component was originally built with many constraints on engineering effort and computational resources, so we prioritized the simplest and highest-leverage solutions. We show how organic growth led to a complex system and how we managed this complexity. Many challenges arose while building this system, such as avoiding feedback loops, evaluating performance, activating content, and eliminating legacy heuristics. Finally, we offer suggestions for tackling these challenges when engineering Web-scale recommender systems.

研究の動機と目的

• エンジニアリングおよび計算リソースの制約下で、実世界のプロダクションスケールのレコメンデーションシステムの縦断的進化を文書化すること。
• 大規模レコメンデーションシステムに生じる主な課題、特にフィードバックループ、位置バイアス、コンテンツ活性化を特定し、それらに対処すること。
• シンプルで高効果なソリューションが、段階的な改善によって複雑で高性能なシステムに進化できることを示すこと。
• 限られたデータとリソースで、スケーラブルで保守可能なレコメンデーションシステムを産業界で構築するための実用的知見を提供すること。

提案手法

• ユーザーがキュレートしたボードに基づくヒューリスティックルールに依存するシンプルな候補生成モジュールを用いて、3週間で初期システムを構築した。
• インプリシットフィードバックを活用して人気のあるピンを強化する軽量な記憶化レイヤー「MemBoost」を導入し、再現率と関連性を向上させた。
• 基本的な線形モデルから出発し、より複雑なアーキテクチャと改善されたトレーニングデータ収集を経て段階的に最適化された学習によるランク付けモデルを導入した。
• 候補生成とランク付けコンponentの自動的共同学習を実装し、意図しない相互作用を低減し、システム全体の整合性を向上させた。
• コンテンツ活性化の課題に対処するため、局所化された候補セットの使用、ローカルピン交換、ローカル候補のブレンドを実施し、非英語コンテンツの露出を増やした。
• 段階的なトレーニングデータインジェクション戦略を採用し、新しい候補生成モジュールを完全にデプロイする前に検証することで、システムコンponent間での一般化を保証した。

実験結果

リサーチクエスチョン

• RQ1 最小限の初期エンジニアリングと計算リソースで、どのように段階的にレコメンデーションシステムを開発できるか？
• RQ2 大規模レコメンデーションシステムの自然な成長過程で、どのような主な課題が生じるか？
• RQ3 プロダクション環境のレコメンデーションシステムで、フィードバックループと位置バイアスをどのように軽減できるか？
• RQ4 特にマルチリンガル環境において、低参加だが高品質なコンテンツを効果的に活性化する戦略は何か？
• RQ5 パフォーマンスを維持しつつ、迅速な実験を可能にするために、システムの複雑さをどのように管理できるか？

主な発見

• Related Pinsシステムは、3週間のプロトタイプから出発し、複数の製品インターフェースで全ユーザー保存数およびインプレッションの40％以上を占めるまでに進化した。
• MemBoostは、最小限のエンジニアリングコストで顕著なパフォーマンス向上を達成し、歴史的な参加シグナルを活用する価値を示した。
• ローカルピン交換と言語認識型候補生成を導入したことで、主要な国際市場で54％のローカルインプレッション率を達成した。
• 候補生成とランク付けコンponentの共同学習により、意図しない相互作用が低減し、システムコンponent間でのモデル一般化が向上した。
• リアルタイムの候補生成とランク付けにより、実験のスピードが向上し、結果の応答性が向上した。
• 新しい候補セットを段階的にトレーニングデータにインジェクションすることで、分布シフトを回避しつつ、新しいコンponentの信頼性ある評価が可能になった。