[论文解读] Targeted Advertising Based on Browsing History

Yong Zhang, Hongming Zhou+3 more|arXiv (Cornell University)|Nov 13, 2017

Advanced Text Analysis Techniques参考文献 32被引用 4

一句话总结

本文提出一种机器学习框架，仅通过用户的浏览历史（特别是哈希处理的用户ID和访问的域名URL）来预测在线用户的人口统计属性（如性别和年龄）。通过结合词嵌入与TF-IDF加权，生成密集的、无监督的网站特征向量，将其聚合为用户级表征，并应用支持向量机分类器，该方法在预测准确率上显著优于基线方法，尤其在与传统方法（如基于类别的标签法和LSI）对比时表现更优。

ABSTRACT

Audience interest, demography, purchase behavior and other possible classifications are ex- tremely important factors to be carefully studied in a targeting campaign. This information can help advertisers and publishers deliver advertisements to the right audience group. How- ever, it is not easy to collect such information, especially for the online audience with whom we have limited interaction and minimum deterministic knowledge. In this paper, we pro- pose a predictive framework that can estimate online audience demographic attributes based on their browsing histories. Under the proposed framework, first, we retrieve the content of the websites visited by audience, and represent the content as website feature vectors; second, we aggregate the vectors of websites that audience have visited and arrive at feature vectors representing the users; finally, the support vector machine is exploited to predict the audience demographic attributes. The key to achieving good prediction performance is preparing representative features of the audience. Word Embedding, a widely used tech- nique in natural language processing tasks, together with term frequency-inverse document frequency weighting scheme is used in the proposed method. This new representation ap- proach is unsupervised and very easy to implement. The experimental results demonstrate that the new audience feature representation method is more powerful than existing baseline methods, leading to a great improvement in prediction accuracy.

研究动机与目标

• 解决在缺乏直接个人数据或受隐私法律限制时，预测目标广告中用户人口统计特征的挑战。
• 开发一种可扩展且符合隐私要求的方法，仅依赖浏览历史（特别是哈希处理的用户ID和域名级URL），无需使用个人身份信息（PII）。
• 通过从网站内容构建更具代表性与信息量的用户特征向量，提升人口统计预测的准确率。
• 评估并比较不同网站与用户特征表示技术，识别在人口统计分类任务中最有效的组合。

提出的方法

• 使用网络爬虫获取用户访问网站的文本内容，通过避免使用PII确保符合隐私标准。
• 通过词嵌入（如Word2Vec）结合次线性缩放的TF-IDF加权方案，将网站内容转换为密集的特征向量，以突出信息量高的词汇。
• 通过对网站特征向量使用对数平均聚合方法，构建用户级特征向量，有效捕捉用户的整体浏览特征。
• 在聚合后的用户向量上训练支持向量机（SVM）分类器，以预测性别和年龄等人口统计属性。
• 使用真实世界数据集（Demo100和Demo20）对框架进行评估，并对爬取规则与特征表示变体进行消融研究。
• 在相同实验条件下，将该方法与多种基线方法（包括基于类别的、LSI、RNN和标准TF-IDF方法）进行对比。

实验结果

研究问题

• RQ1 能否有效利用从浏览历史中提取的网站内容，在不依赖社交媒体或调查样本数据的情况下预测用户人口统计特征？
• RQ2 与传统方法相比，将词嵌入与TF-IDF加权结合，如何提升网站内容的表征能力？
• RQ3 在建模相关联的浏览行为时，聚合-分类框架是否优于回归-聚合框架？
• RQ4 为在保护隐私的前提下最大化人口统计预测准确率，最优的网络爬取策略是什么？
• RQ5 鉴于网站内容的特性，深度学习模型（如RNN）在此场景下的性能是否优于更简单高效的模型？

主要发现

• 所提出的结合词嵌入与TF-IDF加权的方法在Demo100数据集上实现了83.95%的年龄预测准确率和74.42%的性别预测准确率，显著优于所有基线方法。
• 对网站向量使用对数平均聚合方法比简单平均或求和更有效，显著提升了模型对用户档案的表征能力。
• 聚合-分类框架的准确率高于回归-聚合框架，表明用户访问网站的行为具有相关性，简单假设各次访问独立是不合理的，必须显式建模相关浏览行为。
• RNN模型表现劣于更简单的模型，原因在于长序列处理和内容碎片化带来的挑战，凸显了深度学习在此场景中的局限性。
• TF-IDF_word2vec表示方法相比标准TF-IDF，降低了特征稀疏性与维度，从而提升了泛化能力并提高了分类准确率。
• 该方法计算效率高且为无监督学习，无需人工标注数据，因此在符合隐私要求的广告系统中具备可扩展性与实际部署可行性。