[論文レビュー] SIGIR 2021 E-Commerce Workshop Data Challenge

Jacopo Tagliabue, Ciro Greco+5 more|arXiv (Cornell University)|Apr 19, 2021

Recommender Systems and Techniques参考文献 33被引用数 12

ひとこと要約

本論文は、中規模eコマースプラットフォームを想定した、1000万件の相互作用を含む大規模で匿名化されたセッションベースのeコマースデータセットを公開するSIGIR 2021 E-Commerceワークショップデータチャレンジを紹介する。本チャレンジでは、リアルタイムパーソナライゼーションの向上を目的とした、セッションベースのレコメンデーションと早期カート放棄予測の2つの実世界タスクを提示しており、モデルの効率性、サンプル不足、極端なクラス不均衡下でのパフォーマンスに焦点を当てる。

ABSTRACT

The 2021 SIGIR workshop on eCommerce is hosting the Coveo Data Challenge for "In-session prediction for purchase intent and recommendations". The challenge addresses the growing need for reliable predictions within the boundaries of a shopping session, as customer intentions can be different depending on the occasion. The need for efficient procedures for personalization is even clearer if we consider the e-commerce landscape more broadly: outside of giant digital retailers, the constraints of the problem are stricter, due to smaller user bases and the realization that most users are not frequently returning customers. We release a new session-based dataset including more than 30M fine-grained browsing events (product detail, add, purchase), enriched by linguistic behavior (queries made by shoppers, with items clicked and items not clicked after the query) and catalog meta-data (images, text, pricing information). On this dataset, we ask participants to showcase innovative solutions for two open problems: a recommendation task (where a model is shown some events at the start of a session, and it is asked to predict future product interactions); an intent prediction task, where a model is shown a session containing an add-to-cart event, and it is asked to predict whether the item will be bought before the end of the session.

研究の動機と目的

• 中規模eコマースプラットフォームを代表する現実的で匿名化されたデータセットを公開することで、セッションベースのレコメンデーションおよび意図予測モデルの実世界応用におけるギャップを埋める。
• 非再発ユーザーと高いバウンスレートという制約を反映するように、最小限のデータでカート放棄の早期予測と次アイテムレコメンデーションに関する研究を可能にする。
• サンプル効率性、推論速度、クラス不均衡へのロバストネスを重視し、中規模ショップのシナリオを想定した実用的でプロダクション対応のモデルの評価を促進する。
• 合成データや非公開データセットとは異なり、短いセッション、ユーザー再訪問率の低さ、動的なユーザー意図といった実際の業界の課題を反映するベンチマークを提供する。
• 理論的進展を実際のビジネスインパクトに結びつける研究を促進するため、重要なユーザージャーニーのセグメントにおけるモデル行動の定性的および定量的分析を通じて、実用的意義を評価する。

提案手法

• 400万件のセッションから成るセッションレベルのデータセットを公開し、その中には1000万件の商品相互作用（閲覧イベント、検索クエリ、カート追加行動）を含む。すべてのデータはハッシュ化とタイムスタンプシフトによって匿名化されている。
• 2つのコアタスクを定義する：(1) 以前の相互作用と検索クエリを用いたセッション内での次アイテムレコメンデーション；(2) カート追加イベントから1〜n件のイベント後に評価される、カート放棄の早期予測。
• session_id_hash を用いてイベントをグループ化し、サーバーのタイムスタンプ（server_timestamp_epoch_ms）を用いて時系列順序を再構築するが、ファイルの順序は時系列ではない。
• 商品SKU、セッションID、URLのハッシュ化と、週単位の一定期間のタイムスタンプシフトを適用することで、匿名化を実施。これにより、週単位のパターンが保持される。
• 早期予測（例：カート追加から10件のイベント後に購入結果を予測）を重視する評価プロトコルを設計し、時間経過に伴うモデルの予測行動を評価する。
• 新商品、レア商品、検索後の行動といったデータスライスにおける誤差分析を含む提出を奨励し、モデルのロバストネスと実用的関連性を評価する。

実験結果

リサーチクエスチョン

• RQ1 レア商品や新規導入商品に対して、閲覧行動と検索行動のみを用いて、セッション内の次に訪問する商品の相互作用をどれほど正確に予測できるか。
• RQ2 モデルはどの程度、セッションの途中でカート放棄を早期に予測できるか。また、セッション長やカート追加後の行動数に応じて、パフォーマンスはどのように変化するか。
• RQ3 極端なクラス不均衡（例：非購入80% vs. 購入20%）下で、モデルアーキテクチャとトレーニング戦略はどの程度の性能を示すか。これは、実際のeコマースのコンversionレートを反映している。
• RQ4 検索クエリ、コンテンツ特徴量、閲覧パターンを統合することで、低データ環境におけるセッションベースのパーソナライゼーションをどの程度向上できるか。
• RQ5 中規模小売業者における実際の展開環境において、サンプル効率性、推論速度、モデル安定性は、ビジネスインパクトとどの程度相関するか。

主な発見

• データセットには、57,000種類のユニークな商品と400万件のセッションを含み、識別子は匿名化され、タイムスタンプのシフトにより週単位のパターンが保持されている。
• カート放棄タスクは、カート追加から1〜n件のイベント後に評価され、早期予測に重点が置かれており、これは干渉のための最大のビジネスバリューを提供する。
• 本チャレンジは、多くのユーザーが非再発ユーザーであり、バウンスレートが高いという点を踏まえ、セッション内でのユーザー意図の変化をモデル化することが重要であることを強調している。
• 既存のベンチマークは、ユーザー再訪問率の低さや極端なクラス不均衡といった現実の制約を反映していないことが多く、本チャレンジは明確にこれらの課題に取り組んでいる。
• データセットにより、新商品、レア商品、検索後の行動といった重要なシナリオにおける誤差分析が可能となり、低データ環境におけるモデルの限界が明らかになった。
• 本チャレンジは、予測の早期化と一貫性を測る「アンチシペーションメトリクス」の研究を奨励しており、早期かつ自信を持って行動できるモデルの必要性を強調している。