[论文解读] DOBBS: Towards a Comprehensive Dataset to Study the Browsing Behavior of Online Users

Christian von der Weth, Manfred Hauswirth|arXiv (Cornell University)|Jul 5, 2013

Spam and Phishing Detection被引用 3

一句话总结

DOBBS 提出了一款保护隐私的浏览器扩展，可从用户处收集全面且细粒度的浏览行为数据，包括窗口/标签页活动、会话时长和页面浏览时间，从而支持对现代浏览模式（如被动消费和并行浏览）的深入分析。其主要贡献在于提供了一个公开可获取的、经过匿名化的数据集，可提供超越传统服务器日志的洞察。

ABSTRACT

The investigation of the browsing behavior of users provides useful information to optimize web site design, web browser design, search engines offerings, and online advertisement. This has been a topic of active research since the Web started and a large body of work exists. However, new online services as well as advances in Web and mobile technologies clearly changed the meaning behind "browsing the Web" and require a fresh look at the problem and research, specifically in respect to whether the used models are still appropriate. Platforms such as YouTube, Netflix or last.fm have started to replace the traditional media channels (cinema, television, radio) and media distribution formats (CD, DVD, Blu-ray). Social networks (e.g., Facebook) and platforms for browser games attracted whole new, particularly less tech-savvy audiences. Furthermore, advances in mobile technologies and devices made browsing "on-the-move" the norm and changed the user behavior as in the mobile case browsing is often being influenced by the user's location and context in the physical world. Commonly used datasets, such as web server access logs or search engines transaction logs, are inherently not capable of capturing the browsing behavior of users in all these facets. DOBBS (DERI Online Behavior Study) is an effort to create such a dataset in a non-intrusive, completely anonymous and privacy-preserving way. To this end, DOBBS provides a browser add-on that users can install, which keeps track of their browsing behavior (e.g., how much time they spent on the Web, how long they stay on a website, how often they visit a website, how they use their browser, etc.). In this paper, we outline the motivation behind DOBBS, describe the add-on and captured data in detail, and present some first results to highlight the strengths of DOBBS.

研究动机与目标

• 为解决传统数据源（如服务器日志和搜索引擎交易日志）的局限性，这些数据源无法捕捉现代浏览行为（如被动媒体消费和标签页多任务处理）的问题。
• 研究由流媒体平台（如 YouTube、Netflix）、Ajax、WebSockets 和移动浏览等新技术驱动的浏览行为演变。
• 创建一个全面的、保护隐私的数据集，以细粒度级别捕捉用户活动，同时不损害用户匿名性。
• 支持超越简单页面访问次数的用户行为度量新研究，例如实际浏览时间以及跨多个窗口和标签页的会话模式。
• 通过开源可用性和透明的隐私实践（包括匿名反馈机制）鼓励广泛参与。

提出的方法

• 部署专用于 Firefox 的浏览器扩展，在后台静默记录用户浏览事件，且不影响性能。
• 捕获三种主要事件类型：窗口事件（窗口和标签页的打开/关闭）、会话事件（浏览会话的开始/结束及活动状态变化）和浏览事件（页面加载和浏览时长）。
• 使用随机生成的、不可逆的用户 ID 以确保完全匿名化，防止重新识别。
• 在传输或存储前对所有敏感数据进行本地加密，以保护隐私。
• 以结构化格式存储数据，支持将用户浏览历史重建为图结构，便于分析导航模式。
• 通过 DOBBS 项目网站公开发布数据集，开源代码采用 BSD 许可证，以促进透明度和再利用。

实验结果

研究问题

• RQ1 现代浏览行为（如在 YouTube 或 last.fm 等平台上被动消费媒体）与传统的主动链接导航有何不同？
• RQ2 用户在多浏览器窗口和标签页中并行浏览的程度如何？他们如何管理这些活动？
• RQ3 区分页面加载时间、显示时间与用户实际观看时间，如何提升对网页受欢迎程度的测量准确性？
• RQ4 用户在浏览会话中的非活动状态和专注状态有何模式？这些模式如何影响日志数据的解读？
• RQ5 能否从日志事件中准确重建用户浏览历史？这为行为建模提供了哪些新见解？

主要发现

• 并行浏览非常普遍，用户经常同时管理多个浏览器窗口和标签页，但不同个体采用的策略存在显著差异。
• 被动浏览（用户将页面保持打开状态但无交互，例如在做其他任务时听在线广播）极为频繁，是主导的浏览模式之一。
• 区分页面加载时间、显示时间与用户实际观看时间，使得能够提出新的、更准确的度量指标，用于衡量网页受欢迎程度，超越简单的访问频率。
• 该数据集允许高度准确地重建用户浏览历史，可将其可视化为浏览图，以建模复杂的导航行为。
• 收集的数据表明，传统指标（如服务器访问日志）无法捕捉现代浏览的关键方面，如后台媒体消费和跨多个标签页的会话碎片化。
• 尽管存在技术限制和解释上的模糊性（例如，非焦点窗口是否应视为已查看），该数据集仍提供了比现有替代方案更丰富、更细致的用户行为视图。