[论文解读] Ensemble Methods for Personalized E-Commerce Search Challenge at CIKM Cup 2016

Chen Wu, Ming Yan+1 more|arXiv (Cornell University)|Aug 15, 2017

Web Data Mining and Analysis参考文献 12被引用 16

一句话总结

本文针对 CIKM Cup 2016 挑战赛中的个性化电商搜索排序问题，提出了一种堆叠集成学习方法。该方法结合了统计特征、查询-商品特征以及会话级特征，并融合了多种模型（包括逻辑回归、梯度提升树、RankSVM 和一种深度匹配模型），随后通过堆叠元学习进行集成，最终在所有评估指标上均取得了最优性能。

ABSTRACT

Personalized search has been a hot research topic for many years and has been widely used in e-commerce. This paper describes our solution to tackle the challenge of personalized e-commerce search at CIKM Cup 2016. The goal of this competition is to predict search relevance and re-rank the result items in SERP according to the personalized search, browsing and purchasing preferences. Based on a detailed analysis of the provided data, we extract three different types of features, i.e., statistic features, query-item features and session features. Different models are used on these features, including logistic regression, gradient boosted decision trees, rank svm and a novel deep match model. With the blending of multiple models, a stacking ensemble model is built to integrate the output of individual models and produce a more accurate prediction result. Based on these efforts, our solution won the champion of the competition on all the evaluation metrics.

研究动机与目标

• 通过预测相关性并基于用户搜索、浏览和购买行为对商品进行重排序，解决个性化电商搜索的挑战。
• 利用学习排序技术，在 '查询完整' 和 '查询缺失' 两种场景下均提升排序性能。
• 通过稳健的特征工程与模型集成，克服用户类别间的数据稀疏性和分布偏移问题。
• 在大规模匿名电商数据集上实现最先进性能，该数据集涵盖多样的用户行为。
• 验证堆叠集成方法在复杂真实电商环境中，通过融合多样化模型实现更优泛化能力的有效性。

提出的方法

• 提取三类特征：统计特征（如点击率）、查询-商品特征（如词汇重叠）以及会话级特征（如用户行为序列）。
• 训练多种基础模型：逻辑回归（LR）、梯度提升决策树（GBDT）、RankSVM，以及一种用于语义匹配的新颖深度匹配模型（DMM）。
• 采用堆叠集成框架，将各模型的预测结果作为输入输入至元学习器（GBDT）以生成最终排序。
• 在 '查询缺失' 场景中，引入基于逻辑回归的模型选择器，根据验证集的 NDCG 指标为每个类别选择表现最佳的 LR 模型。
• 使用成对学习与反馈信号训练深度匹配模型，以捕捉查询与商品之间的语义交互。
• 将最终得分优化为 '查询完整'（80%）与 '查询缺失'（20%）两种场景下 NDCG 得分的加权和。

实验结果

研究问题

• RQ1 如何有效结合统计、查询-商品和会话级三类特征，以提升个性化搜索排序性能？
• RQ2 传统模型（如 LR、GBDT）与深度学习模型（如 DMM）在捕捉电商搜索中用户偏好方面的相对贡献如何？
• RQ3 在复杂的真实电商环境中，堆叠集成学习在多大程度上能超越单个模型，提升排序性能？
• RQ4 在低数据场景下，如何实现按类别自动化的模型选择，以在 '查询缺失' 场景中保持鲁棒性？
• RQ5 元学习器能否有效整合异构模型的预测结果，在 '查询完整' 和 '查询缺失' 两种设置下均超越任一单一模型？

主要发现

• 集成模型在验证集上取得了最高的 NDCG 得分为 0.4238，优于所有单个模型。
• 仅使用逻辑回归模型即取得了最佳单模型性能（NDCG = 0.4175），表明其在融合多样化特征方面的强大能力。
• 深度匹配模型（DMM）在 '查询完整' 数据集上达到 NDCG 0.5077，显示出在数据有限条件下捕捉语义相关性的有效性。
• 堆叠集成模型在 '查询完整' 场景下将 NDCG 提升至 0.5548，在 '查询缺失' 场景下提升至 0.3911，证实了模型互补性的优势。
• 在 '查询缺失' 场景中，模型选择器成功为每个类别选出表现最佳的 LR 模型，提升了类别特定的排序准确性。
• 最终解决方案在 CIKM Cup 2016 竞赛中所有评估指标上均位列第一，验证了该集成方法的有效性。