[論文レビュー] Did We Get It Right? Predicting Query Performance in E-commerce Search

Rohan Kumar, M. Jagadesh Kumar+2 more|arXiv (Cornell University)|Aug 1, 2018

Information Retrieval and Search Behavior参考文献 18被引用数 8

ひとこと要約

本論文では、クリック率（CTR）を超える豊富なユーザー行動信号を用いて、eコマース検索クエリのパフォーマンスを予測する機械学習モデルを提案している。ホールドアウトテストセットにおいて平均AUCが0.75に達し、特にモバイル端末など高インパクトなカテゴリーではAUCが0.90に達する。

ABSTRACT

In this paper, we address the problem of evaluating whether results served by an e-commerce search engine for a query are good or not. This is a critical question in evaluating any e-commerce search engine. While this question is traditionally answered using simple metrics like query click-through rate (CTR), we observe that in e-commerce search, such metrics can be misleading. Upon inspection, we find cases where CTR is high but the results are poor and vice versa. Similar cases exist for other metrics like time to click which are often also used for evaluating search engines. We aim to learn the quality of the results served by the search engine based on users' interactions with the results. Although this problem has been studied in the web search context, this is the first study for e-commerce search, to the best of our knowledge. Despite certain commonalities with evaluating web search engines, there are several major differences such as underlying reasons for search failure, and availability of rich user interaction data with products (e.g. adding a product to the cart). We study large-scale user interaction logs from Flipkart's search engine, analyze behavioral patterns and build models to classify queries based on user behavior signals. We demonstrate the feasibility and efficacy of such models in accurately predicting query performance. Our classifier is able to achieve an average AUC of 0.75 on a held-out test set.

研究の動機と目的

• 伝統的な指標（クリック率：CTR）がeコマース検索パフォーマンスの評価に限界を示す問題に対処すること。
• CTR単体よりもクエリ品質をよりよく反映する、より包括的なユーザー行動信号のセットを同定すること。
• 人間の専門家が「満足」（SAT）または「不満」（DSAT）と評価した検索結果のパフォーマンスを予測する分類モデルを構築すること。
• 現実世界のeコマース環境において、検索エンジンパフォーマンスを自動的かつスケーラブルに評価すること。
• 特に高収益カテゴリーにおいて、問題のあるクエリを早期に特定することで、検索品質の改善サイクルを向上させること。

提案手法

• モデルは、クリック、時間からクリックまでの時間、カートに追加するまでの時間、および「今すぐ購入」ボタンを押すまでの時間を含む、ユーザー行動からの暗黙的フィードバック信号を用いる。
• 検索結果の数、クリック数、製品の可視性などのクエリレベル特徴量を活用し、クエリパフォーマンスを分類する。
• Flipkartのeコマースプラットフォームから得た大規模なユーザー行動ログを用い、人間によるラベル付け済みの評価結果を正例としてモデルを学習する。
• 二値分類タスクとして定義：人間の専門家がクエリの結果を「満足」（SAT）または「不満」（DSAT）と評価したかどうかを予測する。
• ホールドアウトテストセットにおけるAUCを用いてモデルを評価し、カテゴリー、クエリタイプ、ボリュームセグメントごとのアブレーションスタディを実施する。
• 特徴量の重要度分析により、カートに追加するまでの時間やクリック数といった信号が、クエリパフォーマンスの予測において特に強力な予測因子であることが特定された。

実験結果

リサーチクエスチョン

• RQ1 クリック率（CTR）を超えるユーザー行動信号は、eコマース検索におけるクエリパフォーマンス予測をより正確に可能にするか？
• RQ2 時間からカートに追加するまでの時間や「今すぐ購入」までの時間といった、さまざまなユーザー行動は、人間によるクエリ品質評価とどの程度相関するか？
• RQ3 モデルのパフォーマンスは、製品カテゴリー、クエリタイプ、クエリボリュームセグメントごとに顕著に異なるか？
• RQ4 CTRが高水準であっても、CTRを代理指標として用いる限界を乗り越えて、劣悪なクエリを信頼性高く検出できるか？
• RQ5 暗黙的フィードバック信号は、スケールを考慮した検索エンジンパフォーマンスの自動評価をどの程度可能にするか？

主な発見

• 分類器はホールドアウトテストセットにおいて平均AUC 0.75を達成し、クエリパフォーマンスの予測能力が非常に高いことが示された。
• 「モバイル端末」カテゴリーでは特に高いパフォーマンスを示し、AUCが0.90に達しており、高収益セグメントへの応用可能性が明確に示された。
• 「製品」クエリ（ユーザーの意図が明確な場合）で最も高いパフォーマンスを示し、AUC 0.87を達成。これに対して「カテゴリ」クエリでは0.74、「フェイストカテゴリ」クエリでは0.72であった。
• クエリボリュームが高くなるほど分類器のパフォーマンスが向上し、ヘッドクエリではAUC 0.76、トーソハイグ（高ボリューム）では0.75、トーソボトム（低ボリューム）では0.72を記録した。
• カートに追加するまでの時間とクリック数が特に強力な信号であることが判明し、CTR単体よりも劣悪な結果の検出において優れた性能を示した。
• 「モバイル」カテゴリーのクエリでは、特にパフォーマンスが高く、これは「製品」クエリの割合が高く、「フェイストカテゴリ」クエリの割合が低いことが要因と考えられる。