[論文レビュー] E-commerce in Your Inbox: Product Recommendations at Scale

Mihajlo Grbovic, Vladan Radosavljević+5 more|arXiv (Cornell University)|Jun 23, 2016

Recommender Systems and Techniques参考文献 28被引用数 38

ひとこと要約

本論文では、メールの領収書から抽出したユーザーの購入履歴を活用して、Yahooメール向けにスケーラブルなニューラルネットワークベースの製品推薦システムを提示している。時間的系列に配慮したニューラル言語モデルを用いて製品を低次元のベクトル空間に埋め込み、製品クラスタ間の遷移をモデル化することで、ベースライン広告形式と比較してクリック率が9%向上し、実運用環境での顕著な有効性を示した。

ABSTRACT

In recent years online advertising has become increasingly ubiquitous and effective. Advertisements shown to visitors fund sites and apps that publish digital content, manage social networks, and operate e-mail services. Given such large variety of internet resources, determining an appropriate type of advertising for a given platform has become critical to financial success. Native advertisements, namely ads that are similar in look and feel to content, have had great success in news and social feeds. However, to date there has not been a winning formula for ads in e-mail clients. In this paper we describe a system that leverages user purchase history determined from e-mail receipts to deliver highly personalized product ads to Yahoo Mail users. We propose to use a novel neural language-based algorithm specifically tailored for delivering effective product recommendations, which was evaluated against baselines that included showing popular products and products predicted based on co-occurrence. We conducted rigorous offline testing using a large-scale product purchase data set, covering purchases of more than 29 million users from 172 e-commerce websites. Ads in the form of product recommendations were successfully tested on online traffic, where we observed a steady 9% lift in click-through rates over other ad formats in mail, as well as comparable lift in conversion rates. Following successful tests, the system was launched into production during the holiday season of 2014.

研究の動機と目的

• メール広告のためのスケーラブルでパーソナライズされた製品推薦システムを、メール領収書からの購入データを用いて開発すること。
• 時間的順序に沿ったユーザーの購入履歴をモデル化することで、従来の共起性や人気度ベースの推薦の限界を克服すること。
• 単一のウェブサイトでの購入パターンに依存せず、異なるベンダーから購入された製品の組み合わせ（例：ベンダーV1からX、ベンダーV2からYを購入）を考慮したクロスベンダー推薦を可能にすること。
• 数百万のユーザーと製品を処理でき、低遅延予測を実現するリアルタイムで本番運用可能なシステムをデプロイすること。
• 厳密なオフラインテストとオンラインA/Bバケットテストを通じて、推薦モデルの評価と妥当性を検証すること。

提案手法

• ユーザーの購入履歴を時間的系列として扱い、低次元の実数値ベクトルとしての製品埋め込みを学習するため、ニューラル言語モデル（prod2vec）を採用した。
• 2900万件を超えるユーザーと172のECウェブサイトの巨大なデータセットを用い、購入履歴をイベントの系列としてモデルを学習させた。
• 製品埋め込みを意味的グループにクラスタリングし、クラスタ間の遷移確率をモデル化することで、次に購入されやすい製品の予測精度を向上させた。
• 5日ごとのインクリメンタルアップデートを実施するバッグド-prod2vec-クラスターモデルを採用し、近似リアルタイムの関連性を維持した。
• Hadoopとカスタムキーバリューストアを活用したマルチティアの分散システムを実装し、ユーザーおよび製品プロファイルの低遅延ストレージを実現した。
• 広告の「鉛筆」位置（受信箱上部）に推薦をデプロイし、ユーザーの各インタラクション後に予測スコアを減衰させた上で動的に再描画した。

実験結果

リサーチクエスチョン

• RQ1 ユーザーの購入履歴を時間的系列として学習したニューラル言語モデルは、メール広告におけるパーソナライズされた製品推薦の文脈的関係を効果的に捉えることができるか？
• RQ2 系列ベースの製品埋め込みモデルは、人気度ベースや共起性ベースのベースラインと比較して、クリック率およびコンversion率の面で優れているか？
• RQ3 モデルの更新頻度と新鮮さ（freshness）が、リアルタイムのメール環境における製品推薦のパフォーマンスにどの程度影響を与えるか？
• RQ4 異なるベンダーからの購入パターン（例：ベンダーV1からX、ベンダーV2からYを購入）を効果的に活用することで、推薦の関連性が向上するか？
• RQ5 ユーザー固有のパーソナライズと一般的な人気製品リストの両者を比較した場合、ユーザーのエンゲージメントにどのような影響を与えるか？

主な発見

• 提案されたニューラル言語モデルベースの推薦システムは、オンラインA/Bテストで他の広告形式と比較してクリック率（CTR）が9%向上した。
• コンversion率についても同等の向上が確認され、推薦された製品が一般的な人気製品広告よりもユーザーの関与をより意味的に高めていることが示された。
• オフラインテストでは、モデルが人気度ベースおよび共起性ベースのベースラインを予測精度と関連性の面で上回っていることが確認された。
• 人気製品の推薦は、すぐに陳腐化しやすく、時間経過に伴いCTRの低下が著しく顕著で、新鮮さバイアスに強く影響され、長期的な有効性が低いことが示された。
• 5日ごとのモデル更新では性能維持が不十分で、7日ごとの更新サイクルでも依然として不十分であり、より頻繁な再トレーニングの必要性が浮き彫りになった。
• 本システムは2900万件を超えるユーザーと172のECドメインにスケーリングされ、本番環境で500msのサービスレベルアグリーメントを満たす低遅延予測を達成した。