[论文解读] Image Matters: Visually modeling user behaviors using Advanced Model Server

Tiezheng Ge, Liqin Zhao+14 more|arXiv (Cornell University)|Nov 17, 2017

Image and Video Quality Assessment参考文献 40被引用 9

一句话总结

本文提出高级模型服务器（AMS），一种分布式机器学习框架，可高效联合建模用户行为图像与ID特征，用于在线广告中的点击率（CTR）预测。通过在服务器节点上学习共享的统一图像描述符，将高维图像压缩为低维嵌入后再传输，AMS极大降低了通信与存储开销，实现了可扩展的训练。该方法在基线模型上实现0.0078的GAUC提升，在在线A/B测试中使产品曝光量提升9.2%，显著提高了淘宝广告系统的CTR预测准确性和商业影响。

ABSTRACT

In Taobao, the largest e-commerce platform in China, billions of items are provided and typically displayed with their images. For better user experience and business effectiveness, Click Through Rate (CTR) prediction in online advertising system exploits abundant user historical behaviors to identify whether a user is interested in a candidate ad. Enhancing behavior representations with user behavior images will help understand user's visual preference and improve the accuracy of CTR prediction greatly. So we propose to model user preference jointly with user behavior ID features and behavior images. However, training with user behavior images brings tens to hundreds of images in one sample, giving rise to a great challenge in both communication and computation. To handle these challenges, we propose a novel and efficient distributed machine learning paradigm called Advanced Model Server (AMS). With the well known Parameter Server (PS) framework, each server node handles a separate part of parameters and updates them independently. AMS goes beyond this and is designed to be capable of learning a unified image descriptor model shared by all server nodes which embeds large images into low dimensional high level features before transmitting images to worker nodes. AMS thus dramatically reduces the communication load and enables the arduous joint training process. Based on AMS, the methods of effectively combining the images and ID features are carefully studied, and then we propose a Deep Image CTR Model. Our approach is shown to achieve significant improvements in both online and offline evaluations, and has been deployed in Taobao display advertising system serving the main traffic.

研究动机与目标

• 通过同时建模用户偏好的行为ID特征与用户交互商品图像的视觉内容，提升在线广告中的CTR预测性能。
• 解决在大规模工业系统中，每个用户样本包含数百张图像时带来的计算与通信挑战。
• 设计一种可扩展的分布式训练框架，实现在无需冗余计算或存储的前提下，联合学习图像与ID特征。
• 开发一种跨服务器节点共享的统一图像描述符模型，以降低数据传输与存储成本。
• 通过离线评估与大规模在线A/B测试，在真实电商环境中验证所提框架的有效性。

提出的方法

• 提出高级模型服务器（AMS），作为参数服务器（PS）框架的扩展，支持在所有服务器节点上全局学习共享的可训练图像描述符模型。
• 引入服务端图像描述符模型，在将图像传输至工作节点前，将其嵌入低维、高层语义特征。
• 将CTR模型分解为工作节点模型（用于特征聚合与预测）与服务器模型（用于图像特征学习与全局参数更新）。
• 将原始图像数据分布在服务器上作为全局共享特征，与传统样本内存储相比，将样本内存储量减少了约31倍。
• 采用多查询注意力池化机制，将多个用户行为的视觉表征聚合为统一的用户嵌入。
• 采用部分预热策略以防止ID嵌入参数过拟合，提升泛化能力与模型稳定性。

实验结果

研究问题

• RQ1 在大规模在线广告系统中，联合建模用户行为图像与ID特征是否能显著提升CTR预测性能？
• RQ2 分布式训练系统如何高效应对每个用户样本包含数百张图像时带来的通信与计算负担？
• RQ3 共享的全局图像描述符模型对模型性能与系统可扩展性有何影响？
• RQ4 视觉特征与ID特征的融合如何影响模型在真实部署中的泛化能力与鲁棒性？
• RQ5 所提框架是否可有效应用于CTR预测之外的场景，例如推荐系统的预排序阶段？

主要发现

• 在离线评估中，结合图像特征的DICM模型相比基线模型实现0.0078的GAUC提升与0.0055的AUC提升，显著改善性能。
• 在线A/B测试显示，DICM平均使CTR提升9.2%，eCPM提升5.7%，GPM提升5.9%，且在七天内保持一致增益。
• 通过将图像作为服务器上全局共享的特征存储，而非在每个样本中重复存储，模型将存储使用量减少了约31倍。
• 部分预热策略表现最佳，而完全预热导致过拟合且性能更差，凸显了训练调度设计的重要性。
• 该框架具备良好泛化能力，预排序阶段实现0.0060的GAUC提升与0.0041的AUC提升，表明其在其他CTR预测任务中具有广泛适用性。
• DICM已成功部署于淘宝生产环境的展示广告系统，服务五亿用户与数百万广告商，产生可量化的商业影响。