[論文レビュー] Semantic Product Search

Priyanka Nigam, Yiwei Song+8 more|arXiv (Cornell University)|Jul 1, 2019

Text and Document Classification Technologies参考文献 29被引用数 12

ひとこと要約

本論文では、顧客行動データを活用して語彙的マッチィングを超えたリtrievalを向上させるためのディープラーニングモデルを提案する。新規の3部構成のハッジ損失、n-gramプーリング、OOVトークンのハッシュ化、8GPUに跨るモデル並列学習を採用し、商品検索ベンチマークにおいて、最先端のベースライン比でRecall@100が4.7%向上、MAPが14.5%向上を達成した。

ABSTRACT

We study the problem of semantic matching in product search, that is, given a customer query, retrieve all semantically related products from the catalog. Pure lexical matching via an inverted index falls short in this respect due to several factors: a) lack of understanding of hypernyms, synonyms, and antonyms, b) fragility to morphological variants (e.g. "woman" vs. "women"), and c) sensitivity to spelling errors. To address these issues, we train a deep learning model for semantic matching using customer behavior data. Much of the recent work on large-scale semantic search using deep learning focuses on ranking for web search. In contrast, semantic matching for product search presents several novel challenges, which we elucidate in this paper. We address these challenges by a) developing a new loss function that has an inbuilt threshold to differentiate between random negative examples, impressed but not purchased examples, and positive examples (purchased items), b) using average pooling in conjunction with n-grams to capture short-range linguistic patterns, c) using hashing to handle out of vocabulary tokens, and d) using a model parallel training architecture to scale across 8 GPUs. We present compelling offline results that demonstrate at least 4.7% improvement in Recall@100 and 14.5% improvement in mean average precision (MAP) over baseline state-of-the-art semantic search methods using the same tokenization method. Moreover, we present results and discuss learnings from online A/B tests which demonstrate the efficacy of our method.

研究の動機と目的

• 語彙的マッチィングの限界、例えば同義語、上位語、語形変化、スペルミスの認識不能を是正する。
• 特に購入履歴とクリック履歴を含む顧客行動データを活用し、キーワードマッチィングを超えたユーザーの意図を捉えるセマンティック表現を学習する。
• 高次元埋め込みとOOVトークンを扱える大規模商品カタログに適したスケーラブルなディープラーニングアーキテクチャを開発する。
• オフライン指標（Recall@100、MAP）とオンラインA/Bテストの両方で検索パフォーマンスを向上させ、顧客満足度とビジネスKPIに実世界の影響を与える。

提案手法

• ランダムなネガティブ例、クリックされたが購入されなかったアイテム、実際に購入されたポジティブ例を区別する3部構成のハッジ損失関数を提案し、より良い信号の識別を可能にする。
• n-gramの平均プーリングを用いて短距離の言語的パターンを捉え、語順や語形変化に対してより頑健になるようにする。
• OOVトークンを埋め込むためにハッシュ化を適用し、語彙サイズを削減し、希少語や未学習語への一般化性を向上させる。
• 埋め込み行列を埋め込み次元に沿って分割し、コサイン類似度計算を分解することで、1GPUあたりの通信量を3スカラに削減し、8GPUに跨るモデル並列学習を実装する。
• クエリと商品埋め込みに共通の重みを持つシアンプソンネットワークアーキテクチャを採用し、コサイン類似度による効率的な類似度計算を可能にする。
• 勾配変数をその対応する演算と同じGPU上に配置することで学習を最適化し、メモリ配分と計算効率を向上させる。

実験結果

リサーチクエスチョン

• RQ1 特に購入履歴とクリック履歴を含む顧客行動データは、語彙的アプローチを超えたセマンティックマッチィングを向上させるディープラーニングモデルを学習するために効果的に活用できるか？
• RQ2 非購入のインプレッションと実際の購入を区別する3部構成のハッジ損失関数は、モデルの一般化性とリtrievalパフォーマンスにどのように寄与するか？
• RQ3 平均プーリングを用いたn-gramプーリングは、商品クエリにおける語形変化や同義語に対して、どれほど頑健性を向上させるか？
• RQ4 大規模な埋め込み行列に対するマルチGPU環境下でのモデル並列学習における、トレードオフとスケーリング特性は何か？
• RQ5 提案されたモデルは、実世界のeコマース環境におけるオフライン指標とオンラインA/Bテストの両方で、測定可能な改善を達成できるか？

主な発見

• 提案モデルは、同じトークン化手法を用いた最先端のセマンティック検索ベースライン比で、Recall@100が少なくとも4.7%向上、平均平均精度（MAP）が14.5%向上を達成した。
• 3部構成のハッジ損失は、標準的な損失関数よりも顕著に優れており、非購入インプレッションと実際の購入の違いをよりよくモデル化している。
• OOVトークンのハッシュ化は、さまざまなトークン化戦略においても精度を向上させ、希少語や未学習語に対する頑健性を高めている。
• 通信効率の良いコサイン類似度の分解を用いたモデル並列学習により、1GPUあたりの埋め込み次元数に比例して学習時間を線形にスケーリングでき、大規模モデルの学習時間を短縮した。
• オンラインA/Bテストにより、モデルの実世界での有効性が確認され、重要なビジネス指標とユーザー満足度指標に測定可能な改善が見られた。
• 自己アテンションと位置エンコーディングの検討を行ったが、精度の向上は観察されなかったため、現在のアーキテクチャは商品検索の独自の特徴に適していると考えられる。