[論文レビュー] Modeling Product Search Relevance in e-Commerce

Rahul Radhakrishnan Iyer, Rohan Kohli+1 more|arXiv (Cornell University)|Jan 14, 2020

Web Data Mining and Analysis参考文献 27被引用数 4

ひとこと要約

この論文は、自然言語処理および情報検索技術を用いて、eコマースにおける製品検索の関連性を予測する機械学習アプローチを提案している。BM25 や Indri といった従来のモデルと、word2vec、sentence2vec、paragraph2vec といったディープラーニング手法を比較した結果、word2vec がホーム・ドゥパート（Home Depot）データセットにおいて RMSE 0.2482、相関係数 0.2687 の最高性能を示した。

ABSTRACT

With the rapid growth of e-Commerce, online product search has emerged as a popular and effective paradigm for customers to find desired products and engage in online shopping. However, there is still a big gap between the products that customers really desire to purchase and relevance of products that are suggested in response to a query from the customer. In this paper, we propose a robust way of predicting relevance scores given a search query and a product, using techniques involving machine learning, natural language processing and information retrieval. We compare conventional information retrieval models such as BM25 and Indri with deep learning models such as word2vec, sentence2vec and paragraph2vec. We share some of our insights and findings from our experiments.

研究の動機と目的

• 機械学習および自然言語処理技術を活用して、eコマースにおける製品検索の関連性予測を改善すること。
• 従来の情報検索モデル（BM25 や Indri）と比較して、ディープラーニング埋め込み表現（word2vec、sentence2vec、paragraph2vec）の有効性を評価すること。
• 複数のモデルを組み合わせることで、関連性予測の精度が向上するかどうかを特定すること。
• トレーニングデータのサイズが、検索関連性タスクにおけるモデル性能に与える影響を分析すること。
• 理論的には文脈理解に優れたはずの特定のディープラーニングモデルが、なぜ性能を発揮しないのかを理解すること。

提案手法

• 著者らは、Kaggle から入手したデータセットを用い、製品ID、検索クエリ、関連性スコア（1.0～3.0）を含む、合計 74,067 件のトレーニングインスタンスを活用した。
• 製品タイトル、説明、属性から得られるテキスト特徴量は、小文字変換、ストップワード除去、ステミング、n-gram トークン化を用いて事前処理された。
• 未知語対策として、レーベンシュタイン距離に基づくスペル補正アルゴリズムが適用された。
• word2vec、sentence2vec、paragraph2vec モデルが訓練され、クエリおよび製品の密なベクトル表現が生成された。
• ベースラインモデル（BM25、Indri）のスコアと、word2vec の類似度スコアを特徴量として統合し、SVM 分類器に供給した。
• モデル性能は、予測された関連性スコアと実際のスコアとの間の RMSE および相関係数を用いて評価された。

実験結果

リサーチクエスチョン

• RQ1 word2vec などのディープラーニングベースの単語埋め込み表現は、従来の情報検索モデルに比べ、製品検索の関連性予測を改善できるか？
• RQ2 文脈モデル化能力に優れるにもかかわらず、sentence2vec や paragraph2vec モデルがeコマース製品説明において性能を発揮しないのはなぜか？
• RQ3 BM25/Indri と word2vec を組み合わせた複数モデルの統合は、統計的に有意な性能向上をもたらすか？
• RQ4 ラベル付きトレーニングデータのサイズが、関連性予測モデルの性能に与える影響は何か？
• RQ5 スパarsな非構造的製品説明（例：ボリュームポイント）が、文レベルの埋め込み表現の有効性を制限する役割を果たすのか？

主な発見

• word2vec が全モデルの中で最高の性能を示し、RMSE 0.2482、相関係数 0.2687 を達成した。
• sentence2vec および paragraph2vec モデルは性能が低く、それぞれ RMSE 0.2748、0.2706 であった。これは、製品説明が文の構造に従わないことが主な要因とされる。
• BM25/Indri スコアと word2vec 類似度スコアをSVMに統合したが、統計的に有意な向上は得られなかった。これは、特徴量間に誤った相関関係が存在した可能性があるためである。
• ベースラインモデル（OR/AND による BM25/Indri 結合）は RMSE 0.2509、相関係数 0.2537 を達成し、word2vec に劣った。
• トレーニングデータ量の増加に伴い性能が向上したため、より多くのラベル付き例が著しく良い結果をもたらす可能性があることが示された。
• word2vec モデルは、曖昧なクエリに対しても関連性を効果的に捉えており、製品検索における意味的類似度の処理において堅牢性を示した。