[論文レビュー] End-to-End Neural Ranking for eCommerce Product Search: an application of task models and textual embeddings

Eliot Brenner, Jun Zhao+2 more|arXiv (Cornell University)|Jun 19, 2018

Topic Modeling参考文献 12被引用数 6

ひとこと要約

本稿では、タスクモデリングとテキスト埋め込みを用いた、Eコマース製品検索のエンドツーエンドニューラルランクフレームワークを提案する。カーネルプーリングモデルは、tf-idfベースラインと比較してランク付け誤差を3分の1以上削減することを実証した。一方、分散型モデル（CLSMやDSSM）はベースラインを上回れず、Eコマース向けニューラルIRにおける正則化とデータ拡張の改善が求められることを示している。

ABSTRACT

We consider the problem of retrieving and ranking items in an eCommerce catalog, often called SKUs, in order of relevance to a user-issued query. The input data for the ranking are the texts of the queries and textual fields of the SKUs indexed in the catalog. We review the ways in which this problem both resembles and differs from the problems of IR in the context of web search. The differences between the product-search problem and the IR problem of web search necessitate a different approach in terms of both models and datasets. We first review the recent state-of-the-art models for web search IR, distinguishing between two distinct types of model which we call the distributed type and the local-interaction type. The different types of relevance models developed for IR have complementary advantages and disadvantages when applied to eCommerce product search. Further, we explain why the conventional methods for dataset construction employed in the IR literature fail to produce data which suffices for training or evaluation of models for eCommerce product search. We explain how our own approach, applying task modeling techniques to the click-through logs of an eCommerce site, enables the construction of a large-scale dataset for training and robust benchmarking of relevance models. Our experiments consist of applying several of the models from the IR literature to our own dataset. Empirically, we have established that, when applied to our dataset, certain models of local-interaction type reduce ranking errors by one-third compared to the baseline tf-idf. Applied to our dataset, the distributed models fail to outperform the baseline. As a basis for a deployed system, the distributed models have several advantages, computationally, over the local-interaction models. This motivates an ongoing program of work, which we outline at the conclusion of the paper.

研究の動機と目的

• 伝統的な関連性関数（例：tf-idf、BM25）の限界、特にハードマッチング依存と意味的理解の欠如を是正するため。
• クリックスルーログとタスクモデリングを用いて、訓練およびベンチマーク用の大規模で敵対的関連性データセットを構築するため。
• 特にカーネルプーリングおよび分散型モデルを含む最新のニューラルIRモデルを、Eコマース固有のデータセット上で評価するため。
• 分散型モデルが、ウェブ検索では優れた性能を示すにもかかわらず、Eコマースデータではなぜ過学習を起こし一般化に失敗するのかを解明するため。
• 一般化失敗を克服するため、改善されたモデルアーキテクチャとデータ拡張に焦点を当てた二軌道の研究プログラムを提言するため。

提案手法

• Eコマースプラットフォームのクリックスルーログを用いて、タスクモデリング技術を適用し、関連性信号を推定することで、大規模で敵対的な関連性データセットを構築した。
• カーネルプーリング（ローカルインタラクション）および分散型モデル（DSSM、CLSM、シアンサイト）を含む複数のニューラルIRモデルを訓練・評価し、学習可能および固定の単語埋め込みを併用した。
• 事前学習済みのword2vecから初期化されたCBOWおよびSkipgramアーキテクチャを用いたFastText単語埋め込みを採用し、訓練中に微調整した。
• SKUテキスト入力の情報量とノイズのバランスを考慮し、入力長を制限するためのトリンケーション戦略（32、64、128トークン）を適用した。
• tf-idfベースラインと比較して正規化されたペアワイズランクエラー率を用いて、モデル性能を評価した。
• 微調整後の埋め込み空間の変化を定性的に分析し、意味的分離度の評価を行った。

実験結果

リサーチクエスチョン

• RQ1 カーネルプーリングニューラルランクモデルは、Eコマース製品検索において、従来のtf-idfベースラインを顕著に上回ることができるか？
• RQ2 分散型ニューラルIRモデル（例：CLSM、DSSM）は、ウェブ検索では優れた性能を示すにもかかわらず、なぜEコマースデータセットでは一般化に失敗するのか？
• RQ3 単語埋め込み戦略の選択（固定 vs. 微調整）が、Eコマースランクタスクにおけるモデル性能にどのように影響するか？
• RQ4 情報保持とノイズ低減の両立を考慮した場合、カーネルプーリングモデルにおける最適な入力トリンケーション長は何か？
• RQ5 データ拡張とアーキテクチャの革新は、Eコマースデータで観察された分散型モデルの過学習を克服できるか？

主な発見

• カーネルプーリングモデルは、tf-idfベースラインと比較してペアワイズランクエラーを33%削減し、64トークンのトリンケーション長でテスト誤差率62.92%を達成した。
• CLSMやDSSMなどの分散型モデルはtf-idfベースラインを上回れず、テスト誤差率は65.62%から73.97%にまで達し、顕著な過学習が確認された。
• 情報保持とノイズ低減の両立を最適化するため、64トークン（2^6）のトリンケーション長が最適であることが判明した。
• 単語埋め込みを固定した場合、性能低下はわずかにとどまり（65.40% vs. 62.92%）、微調整による利益は限定的だが、顕著ではない。
• 微調整により、語のペアがより頻繁に分離される傾向が示されたが、距離の短縮はそれほど顕著でなかった。これは、埋め込みがタスク固有の意味的特徴に適応しているが、全体の精度に与える影響は限定的であることを示している。
• 本研究では、分散型モデルがEコマース環境で効果的に一般化できるようにするため、正則化とデータ拡張の改善が極めて重要であると特定した。