[论文解读] Improving the quality of individual-level online information tracking: challenges of existing approaches and introduction of a new content- and long-tail sensitive academic solution

Silke Adam, Mykola Makhortykh+7 more|arXiv (Cornell University)|Mar 5, 2024

Web visibility and informetrics被引用 4

一句话总结

本文介绍了 WebTrack，这是一种开源的、内容敏感且关注长尾内容的学术工具，用于个体层面的在线信息追踪。与现有桌面追踪工具相比，WebTrack 通过捕捉新闻列表之外的详细内容暴露情况，克服了其局限性。基于 1,185 名参与者的数据显示，WebTrack 通过自动化内容分析，显著提升了政治相关资讯消费的检测准确性，大幅提高了数据质量，并为社会科学研究带来了新颖的分析洞见。

ABSTRACT

This article evaluates the quality of data collection in individual-level desktop information tracking used in the social sciences and shows that the existing approaches face sampling issues, validity issues due to the lack of content-level data and their disregard of the variety of devices and long-tail consumption patterns as well as transparency and privacy issues. To overcome some of these problems, the article introduces a new academic tracking solution, WebTrack, an open source tracking tool maintained by a major European research institution. The design logic, the interfaces and the backend requirements for WebTrack, followed by a detailed examination of strengths and weaknesses of the tool, are discussed. Finally, using data from 1185 participants, the article empirically illustrates how an improvement in the data collection through WebTrack leads to new innovative shifts in the processing of tracking data. As WebTrack allows collecting the content people are exposed to on more than classical news platforms, we can strongly improve the detection of politics-related information consumption in tracking data with the application of automated content analysis compared to traditional approaches that rely on the list-based identification of news.

研究动机与目标

• 识别现有基于桌面的个体层面在线信息追踪工具中的关键缺陷，特别是抽样偏差、缺乏内容级别数据，以及对长尾内容和设备多样性的忽视。
• 解决当前社会科学研究所采用的追踪方法在有效性、透明度和隐私方面的问题。
• 开发并评估一种新的学术追踪解决方案——WebTrack，以捕捉跨多样化在线平台的详细内容暴露情况。
• 展示通过 WebTrack 实现的增强数据收集如何使追踪数据的处理更加准确且具有创新性，特别是在检测与政治相关的信息消费方面。

提出的方法

• 设计 WebTrack 为基于桌面的追踪工具，包含客户端浏览器扩展和安全的服务器端后端，用于数据聚合与存储。
• 实施内容级别日志记录，捕获完整 URL、页面标题和原始 HTML 内容，以支持自动化内容分析。
• 集成与设备和平台无关的追踪机制，以涵盖非传统新闻来源中的长尾内容消费。
• 应用自动化内容分析技术，利用基于自然语言处理的分类模型，对追踪内容按主题进行分类，特别是政治主题。
• 通过匿名化、用户同意机制以及开源代码的可获取性，确保隐私与透明度。
• 通过一项大规模实证研究（涵盖 1,185 名参与者，其在线行为多样）验证该工具的性能和数据质量。

实验结果

研究问题

• RQ1 现有个体层面在线追踪工具在捕捉内容多样性和长尾消费模式方面存在哪些不足？
• RQ2 与基于列表的追踪方法相比，WebTrack 在检测与政治相关的信息暴露方面准确度提高了多少？
• RQ3 在学术研究中部署一种内容敏感且关注长尾内容的追踪系统，面临哪些关键的技术与伦理挑战？
• RQ4 详细内容数据的纳入如何推动在线信息暴露处理中的新型分析能力？

主要发现

• WebTrack 有效捕捉了包括非传统新闻来源在内的广泛平台上的内容暴露情况，显著扩展了可检测信息消费的范围，超越了传统新闻列表的局限。
• 将自动化内容分析与 WebTrack 集成，实现了对政治相关内容更精确的识别，减少了对可能不准确的基于列表分类的依赖。
• 来自 1,185 名参与者的实证数据显示，WebTrack 收集到的在线媒体暴露数据更加丰富且更具代表性，尤其在小众和长尾内容方面表现突出。
• 该工具通过考虑设备多样性与用户特定的浏览行为，提升了数据有效性，减少了传统追踪方法固有的抽样偏差。
• WebTrack 通过开源设计、用户同意工作流和安全的数据处理方式，增强了透明度与隐私保护，解决了追踪研究中的关键伦理问题。
• 增强的数据质量使分析方式实现创新性转变，例如识别出以往传统方法无法检测到的细微政治内容暴露模式。