[论文解读] Cross Device Matching for Online Advertising with Neural Feature Ensembles : First Place Solution at CIKM Cup 2016

Phan, Minh C., Yi Tay+1 more|arXiv (Cornell University)|Oct 23, 2016

Sentiment Analysis and Opinion Mining参考文献 2被引用 8

一句话总结

本论文提出了一项在 CIKM Cup 2016 跨设备用户匹配挑战赛中获得第一名的解决方案，结合神经特征集成与成对分类方法。通过将无监督的 Doc2Vec 嵌入表示与人工设计特征及 XGBoost 分类器相结合，该方法在有效候选过滤与推理技术的支撑下，取得了 0.4204 的 F1 分数，显著优于基线模型。

ABSTRACT

We describe the 1st place winning approach for the CIKM Cup 2016 Challenge. In this paper, we provide an approach to reasonably identify same users across multiple devices based on browsing logs. Our approach regards a candidate ranking problem as pairwise classification and utilizes an unsupervised neural feature ensemble approach to learn latent features of users. Combined with traditional hand crafted features, each user pair feature is fed into a supervised classifier in order to perform pairwise classification. Lastly, we propose supervised and unsupervised inference techniques.

研究动机与目标

• 利用仅有的浏览日志数据，解决在多个设备间识别同一用户的问题。
• 改进基于 TF-IDF 和 KNN 的基线方法，以提升跨设备用户匹配中候选对生成的性能。
• 构建一个稳健的框架，将无监督神经特征学习与有监督分类相结合，实现成对用户匹配。
• 通过有监督与无监督推理技术优化性能，以精炼最终的候选对选择。
• 在竞赛约束条件下，于 CIKM Cup 2016 基准测试中实现最先进水平的结果，尤其在 F1 分数方面表现突出。

提出的方法

• 在不同 URL 路径层级（h=0 到 h=3）的用户点击流序列上训练分层 Doc2Vec 模型，以学习语义用户表征。
• 在 Doc2Vec 与 TF-IDF 嵌入表示上应用 k-最近邻算法（k=18），生成初始候选用户对。
• 将人工设计特征（如共享域名、时间接近性等）与每对候选用户的学得神经特征相结合。
• 在已标注的训练对（506,136 对）上训练 XGBoost 分类器，执行成对分类并排序候选对。
• 应用有监督与无监督推理：利用高置信度对通过传递闭包推断新匹配，且仅限于大小 ≤5 的聚类。
• 通过合并分类器输出的高分对与推理结果，最终选择前 120,000 个唯一候选对作为最终结果。

实验结果

研究问题

• RQ1 从点击流数据中进行无监督神经特征学习，是否能显著提升跨设备用户匹配性能，超越传统的 TF-IDF 基线？
• RQ2 在成对分类框架中，神经嵌入与人工特征的结合在用户匹配任务中效果如何？
• RQ3 基于高置信度对的传递推理，在不引入假阳性的情况下，能在多大程度上提升最终 F1 分数？
• RQ4 在大规模用户匹配任务中，候选生成的召回率与分类性能之间应如何实现最优平衡？
• RQ5 在该任务中，不同分类器（如 XGBoost、随机森林、LSTM）在 F1 分数、训练时间与可扩展性方面表现如何比较？

主要发现

• 使用 3,500 棵树的 XGBoost 分类器并结合所有特征，在最终竞赛排行榜上取得了最高 F1 分数 0.4204。
• 无监督推理技术使 F1 分数从 0.4155 提升至 0.4204，显示出关键的性能增益。
• 分层 Doc2Vec 嵌入表示相比 TF-IDF + KNN 基线（F1 为 0.065）实现了超过 750% 的绝对 F1 提升。
• 在本地开发集上，XGBoost 在 F1 分数上优于其他分类器，包括随机森林（F1 0.3832）与多层感知机（F1 0.2563）。
• 尽管理论上具有潜力，但因训练时间过长（2 天）且不稳定，LSTM-RNN 模型最终被放弃。
• 最终提交方案仅使用单一优化后的 XGBoost 模型，结合特征工程与推理策略，成功以 120,000 对候选对实现顶尖性能。