[論文レビュー] Shopping Queries Dataset: A Large-Scale ESCI Benchmark for Improving Product Search

Chandan K. Reddy, Lluı́s Màrquez+7 more|arXiv (Cornell University)|Jun 14, 2022

Advanced Image and Video Retrieval Techniques被引用数 15

ひとこと要約

本論文は、英語、スペイン語、日本語の3言語で構成され、13万件のクエリと260万件の手動ラベル付き（クエリ、製品）の関連性判断を含む大規模な多言語ベンチマーク「Shopping Queries Dataset」を紹介する。3つのタスク—ランク付け、多クラス関連性分類（正確／代替／補足／無関係）、代替製品同定—を提案し、ファインチューニングされたクロスエンコーダーやBERTベースのMLP分類器といったニューラルモデルを用いて、公開テストセットでnDCGスコアが最大0.857、F1スコアが0.73以上を達成した。これは今後の製品検索研究の強力なベースラインを確立するものである。

ABSTRACT

Improving the quality of search results can significantly enhance users experience and engagement with search engines. In spite of several recent advancements in the fields of machine learning and data mining, correctly classifying items for a particular user search query has been a long-standing challenge, which still has a large room for improvement. This paper introduces the "Shopping Queries Dataset", a large dataset of difficult Amazon search queries and results, publicly released with the aim of fostering research in improving the quality of search results. The dataset contains around 130 thousand unique queries and 2.6 million manually labeled (query,product) relevance judgements. The dataset is multilingual with queries in English, Japanese, and Spanish. The Shopping Queries Dataset is being used in one of the KDDCup'22 challenges. In this paper, we describe the dataset and present three evaluation tasks along with baseline results: (i) ranking the results list, (ii) classifying product results into relevance categories, and (iii) identifying substitute products for a given query. We anticipate that this data will become the gold standard for future research in the topic of product search.

研究の動機と目的

• ユーザーの検索クエリをeコマースで関連する製品に正確にマッチングするという継続的な課題に対処すること。ここでは、二値の関連性ではユーザーの意図の微細なニュアンスを捉えるには不十分である。
• モバイル検索や音声検索におけるユーザー体験を向上させるために、単なる関連性を超えて、機能的代替品、補足品、正確一致を理解できるモデルを可能にすること。
• 複数の言語で製品検索における意味的マッチングを評価・前進させるための標準化された大規模ベンチマークを提供すること。
• リtrieバル、分類、レコメンデーション分野の研究を支援するため、豊富なアノテーションと多言語カバレッジを備えた公開データセットをリリースすること。

提案手法

• データセットには、英語、スペイン語、日本語の3言語で合計130,652件のユニークなクエリが含まれており、各クエリは最大40件の製品とペairedされ、ESCI関連性（正確、代替、補足、無関係）でラベル付けされている。
• タスク1（ランク付け）では、多言語対応MPNetを用いたファインチューニングされたクロスエンコーダーモデルとBM25ベースラインを評価し、nDCGを指標として用いる。
• タスク2（分類）では、クエリと製品タイトルの埋め込み表現を連結して学習するBERTベースのMLP分類器を用い、BERT表現に対して最大プーリングを適用する。
• タスク3（代替品同定）では、同じBERT-MLPアーキテクチャを用いるが、代替品を同定するためのバイナリヘッドを採用する。
• ハイパーパrameterには、1〜4エポックの学習、Adam最適化手法（初期学習率5e-5、重み減衰0.01）、および1言語あたり10〜200件の開発用クエリを設定する。
• データセットは公開されており、KDDCup’22チャレンジでも使用されており、各言語について学習用、公開テスト用、プライベートテスト用の分割が用意されている。

実験結果

リサーチクエスチョン

• RQ1 神経ネットワークモデルは、複数の言語で実世界のショッピングクエリに対して、どの程度製品の順序付けを的確に行えるか？
• RQ2 多クラス関連性分類（正確／代替／補足／無関係）は、二値関連性を上回ってユーザーの意図を捉えることができるか？
• RQ3 モデルは、与えられたクエリに対して、どの程度機能的代替品を同定できるのか。また、言語ごとに性能にどのような差が生じるのか？
• RQ4 強力なベースラインと人為アノテートされた関連性判断との間に、実際のeコマース検索シナリオでどの程度の性能ギャップが生じるのか？

主な発見

• ファインチューニングされたクロスエンコーダーモデルは、英語テストセットでnDCGスコア0.852を達成し、BM25ベースライン（0.563）を顕著に上回った。これは、ニューラル意味的マッチングによる顕著な向上を示している。
• BERTベースのMLP分類器は、スペイン語テストセットにおける関連性分類でマイクロ-F1スコア0.685を達成し、中程度の性能を示したが、改善の余地が顕著にあった。
• 代替製品同定タスクでは、BERT-MLPモデルがスペイン語テストセットでマイクロ-F1スコア0.795を達成し、このタスクにおける強力な潜在的性能を示した。
• 性能は言語によって顕著に異なり、分類タスクにおいて英語モデルがスペイン語および日本語モデルを大幅に上回った。
• ESCIラベルの分布は、65.2％が正確、21.9％が代替、2.9％が補足、10.0％が無関係であり、現実世界の関連性の複雑さを反映している。
• 強力なベースライン成績にもかかわらず、モデルと人為アノテートされた判断との間には大きな性能ギャップが存在し、製品検索における意味的マッチングの分野には依然として大幅な改善余地がある。