[论文解读] You, the Web and Your Device: Longitudinal Characterization of Browsing Habits

Luca Vassio, Idílio Drago+3 more|arXiv (Cornell University)|Jun 19, 2018

Web Data Mining and Analysis参考文献 49被引用 15

一句话总结

本文提出一种基于机器学习的方法，利用2013–2016年大规模ISP数据集中被动HTTP流量痕迹，识别用户发起的网页访问，从而实现对PC和智能手机用户点击流行为的纵向分析。研究发现，移动浏览正在迅速增长，搜索引擎推动直接与间接导航，社交网络则促进短暂且自包含的浏览会话，并具有较高的用户留存率。

ABSTRACT

Understanding how people interact with the web is key for a variety of applications, e.g., from the design of effective web pages to the definition of successful online marketing campaigns. Browsing behavior has been traditionally represented and studied by means of clickstreams, i.e., graphs whose vertices are web pages, and edges are the paths followed by users. Obtaining large and representative data to extract clickstreams is however challenging. The evolution of the web questions whether browsing behavior is changing and, by consequence, whether properties of clickstreams are changing. This paper presents a longitudinal study of clickstreams in from 2013 to 2016. We evaluate an anonymized dataset of HTTP traces captured in a large ISP, where thousands of households are connected. We first propose a methodology to identify actual URLs requested by users from the massive set of requests automatically fired by browsers when rendering web pages. Then, we characterize web usage patterns and clickstreams, taking into account both the temporal evolution and the impact of the device used to explore the web. Our analyses precisely quantify various aspects of clickstreams and uncover interesting patterns, such as the typical short paths followed by people while navigating the web, the fast increasing trend in browsing from mobile devices and the different roles of search engines and social networks in promoting content. Finally, we contribute a dataset of anonymized clickstreams to the community to foster new studies (anonymized clickstreams are available to the public at http://bigdata.polito.it/clickstream).

研究动机与目标

• 为了理解2013年至2016年间网络浏览行为的演变，特别是移动设备兴起及主流在线服务发展的影响。
• 为解决在被动网络流量痕迹中区分用户发起的网页访问与自动浏览器请求的挑战。
• 对不同设备（PC与智能手机）的点击流结构进行表征，识别搜索引擎与社交网络在内容发现中角色的变化。
• 向研究社区贡献一个大规模的匿名点击流图数据集，以支持未来关于网络使用、隐私和推荐系统的研究。

提出的方法

• 提出一种基于请求模式的机器学习方法，将HTTP请求分类为用户行为（显式访问）或自动行为（如脚本、媒体加载），实现超过90%的精确率与召回率。
• 将该模型应用于涵盖三年时间、来自25,000户家庭的640亿+条HTTP请求数据集，从中提取了超过10亿个访问页面的550万个点击流图。
• 通过按浏览器分组请求，构建设备特定的点击流图，实现对不同设备类型浏览行为的分析。
• 使用经验累积分布函数（ECDF）分析直接或间接连接至搜索引擎（SEs）和在线社交网络（OSNs）的页面比例。
• 追踪PC与智能手机上来自搜索引擎和社交网络的直接访问与可访问网页比例随时间的演变，以检测导航模式的变化。
• 在不同网络条件与设备类型下验证该方法的鲁棒性，确保在真实被动测量中可靠识别用户行为。

实验结果

研究问题

• RQ1 从2013年到2016年，点击流图在结构、路径长度和内容发现方面如何演变？
• RQ2 PC与智能手机用户在导航模式与内容发现来源方面有何差异？
• RQ3 搜索引擎与社交网络在内容推广中扮演何种角色，这些角色随时间如何变化？
• RQ4 HTTPS加密连接在多大程度上阻碍了从被动网络痕迹中重建点击流图？

主要发现

• 点击流图中的中位路径长度较短，用户通常仅在会话中访问少数页面，表明其在初始入口点之外的探索行为有限。
• 移动浏览增长迅速，智能手机如今已成为网络流量的重要且持续增长的来源，尤其在内容发现方面。
• 对于PC用户，搜索引擎是内容发现的主要来源，17%的访问页面直接连接至搜索引擎，42%可通过搜索引擎访问。
• 对于智能手机用户，可从社交网络访问的页面比例已与从搜索引擎访问的比例相当，表明发现行为发生转变。
• 社交网络用户表现出高留存率：61%从社交网络链接出的网页没有进一步的外链，表明用户在点击外部链接后通常会返回平台。
• 在智能手机上，搜索引擎用于内容发现的使用率正在下降，而社交网络正日益成为主要导航工具。