[论文解读] End-to-End Neural Ranking for eCommerce Product Search: an application of task models and textual embeddings

Eliot Brenner, Jun Zhao+2 more|arXiv (Cornell University)|Jun 19, 2018

Topic Modeling参考文献 12被引用 6

一句话总结

本文提出了一种用于电子商务商品搜索的端到端神经排序框架，结合任务建模与文本嵌入，表明核池化模型相比tf-idf基线模型将排序误差降低了三分之一以上。相比之下，分布式模型如CLSM和DSSM未能超越基线表现，凸显了在电子商务神经信息检索中改进正则化与数据增强的必要性。

ABSTRACT

We consider the problem of retrieving and ranking items in an eCommerce catalog, often called SKUs, in order of relevance to a user-issued query. The input data for the ranking are the texts of the queries and textual fields of the SKUs indexed in the catalog. We review the ways in which this problem both resembles and differs from the problems of IR in the context of web search. The differences between the product-search problem and the IR problem of web search necessitate a different approach in terms of both models and datasets. We first review the recent state-of-the-art models for web search IR, distinguishing between two distinct types of model which we call the distributed type and the local-interaction type. The different types of relevance models developed for IR have complementary advantages and disadvantages when applied to eCommerce product search. Further, we explain why the conventional methods for dataset construction employed in the IR literature fail to produce data which suffices for training or evaluation of models for eCommerce product search. We explain how our own approach, applying task modeling techniques to the click-through logs of an eCommerce site, enables the construction of a large-scale dataset for training and robust benchmarking of relevance models. Our experiments consist of applying several of the models from the IR literature to our own dataset. Empirically, we have established that, when applied to our dataset, certain models of local-interaction type reduce ranking errors by one-third compared to the baseline tf-idf. Applied to our dataset, the distributed models fail to outperform the baseline. As a basis for a deployed system, the distributed models have several advantages, computationally, over the local-interaction models. This motivates an ongoing program of work, which we outline at the conclusion of the paper.

研究动机与目标

• 为解决传统相关性函数（如tf-idf、BM25）在电子商务商品搜索中的局限性，这些方法依赖硬匹配且缺乏语义理解能力。
• 利用点击日志与任务建模，构建大规模对抗性数据集，用于训练与基准测试神经排序模型。
• 在专为电子商务设计的数据集上，评估最先进神经信息检索模型——特别是核池化与分布式模型的表现。
• 诊断为何分布式模型在电子商务数据上出现过拟合且泛化能力差，尽管其在网页搜索中表现优异。
• 提出双轨研究计划，聚焦于改进模型架构与数据增强策略，以克服神经排序在电子商务场景中的泛化失败问题。

提出的方法

• 利用电子商务平台的点击日志构建大规模对抗性相关性数据集，并应用任务建模技术推断相关性信号。
• 训练并评估多种神经信息检索模型，包括核池化（局部交互）与分布式模型（DSSM、CLSM、Siamese），并对比可训练与冻结词嵌入的设置。
• 采用FastText词嵌入，结合CBOW与Skipgram架构，基于预训练的word2vec进行初始化，并在训练过程中进行微调。
• 应用截断策略限制输入长度（32、64、128个标记），以平衡商品SKU文本中的信息与噪声。
• 使用成对排序误差率评估模型性能，并以tf-idf基线为归一化基准。
• 对微调后嵌入空间的变化进行定性分析，以评估语义解耦程度。

实验结果

研究问题

• RQ1 核池化神经排序模型是否能在电子商务商品搜索中显著优于传统的tf-idf基线？
• RQ2 为何分布式神经信息检索模型（如CLSM、DSSM）在电子商务数据集上泛化能力差，尽管其在网页搜索中表现优异？
• RQ3 词嵌入策略的选择（冻结 vs. 微调）如何影响模型在电子商务排序任务中的表现？
• RQ4 在平衡产品描述中的信息与噪声方面，核池化模型的最优输入截断长度是多少？
• RQ5 数据增强与架构创新能否克服分布式模型在电子商务数据上观察到的过拟合问题？

主要发现

• 核池化模型相比tf-idf基线将成对排序误差降低了33%，在64个标记截断长度下达到62.92%的测试误差率。
• CLSM与DSSM等分布式模型未能超越tf-idf基线，测试误差率范围为65.62%至73.97%，表明存在显著过拟合。
• 64个标记（2^6）的截断长度被确定为最优，可在信息保留与噪声减少之间实现最佳平衡。
• 冻结词嵌入仅导致性能小幅下降（误差率65.40% vs. 可训练的62.92%），表明微调虽带来有限但非微不足道的增益。
• 微调导致词对更频繁地被解耦而非更紧密靠近，表明嵌入能适应特定任务语义，但对整体准确率影响有限。
• 本研究识别出在电子商务场景中，为实现分布式模型有效泛化，亟需改进正则化与数据增强策略。