[论文解读] 'I Updated the ': The Evolution of References in the English Wikipedia and the Implications for Altmetrics

Olga Zagovora, Roberto Ulloa+2 more|arXiv (Cornell University)|Oct 6, 2020

Wikis in Education and Collaboration参考文献 17被引用 4

一句话总结

本文介绍了一个公开可用的数据集，包含截至2019年6月的英语维基百科中超过5500万条参考文献，采用一种新颖的方法，高精度地追踪了参考文献的创建、修改、删除和重新插入等操作。研究揭示了人类持续推动参考文献质量提升的显著努力，表现为对持久标识符（如DOI、ISBN等）的使用不断增加，强调了在替代指标（altmetrics）设计中纳入参考文献演化过程的必要性。

ABSTRACT

With this work, we present a publicly available dataset of the history of all the references (more than 55 million) ever used in the English Wikipedia until June 2019. We have applied a new method for identifying and monitoring references in Wikipedia, so that for each reference we can provide data about associated actions: creation, modifications, deletions, and reinsertions. The high accuracy of this method and the resulting dataset was confirmed via a comprehensive crowdworker labelling campaign. We use the dataset to study the temporal evolution of Wikipedia references as well as users' editing behaviour. We find evidence of a mostly productive and continuous effort to improve the quality of references: (1) there is a persistent increase of reference and document identifiers (DOI, PubMedID, PMC, ISBN, ISSN, ArXiv ID), and (2) most of the reference curation work is done by registered humans (not bots or anonymous editors). We conclude that the evolution of Wikipedia references, including the dynamics of the community processes that tend to them should be leveraged in the design of relevance indexes for altmetrics, and our dataset can be pivotal for such effort.

研究动机与目标

• 创建一个全面且公开可访问的数据集，记录英语维基百科中参考文献的完整历史。
• 开发并验证一种高精度识别和追踪参考文献编辑的方法，包括创建、修改、删除和重新插入等操作。
• 分析参考文献整理的时序动态，并评估注册用户与机器人及匿名编辑之间的贡献差异。
• 评估参考文献演化对替代指标系统中相关性指数设计的影响。
• 提供关于维基百科参考文献整理过程的质量与可持续性的实证证据。

提出的方法

• 开发了一种新颖的算法方法，用于解析和追踪维基百科修订历史中的所有参考文献编辑，以高精度识别参考文献相关操作。
• 该方法利用结构化元数据和文本模式，将参考文献编辑与一般文章编辑区分开来，从而实现对参考文献生命周期事件的细粒度记录。
• 开展了众包标注活动以验证该方法的准确性，确保参考文献操作识别的可靠性。
• 通过处理截至2019年6月的所有维基百科修订记录构建了该数据集，完整捕获每一条参考文献变更及其关联的时间戳和用户身份信息。
• 提取并追踪了持久标识符（如DOI、PubMedID、ISBN等）随时间的变化，以评估参考文献质量与标准化的趋势。
• 应用统计与时间序列分析，研究编辑模式、用户贡献以及参考文献类型的变化过程。

实验结果

研究问题

• RQ1 维基百科参考文献中持久标识符（如DOI、ISBN）的使用随时间如何演变？
• RQ2 注册用户、机器人与匿名编辑在参考文献整理工作中的分布比例如何？
• RQ3 参考文献编辑在多大程度上反映了持续且以质量为导向的改进过程？
• RQ4 参考文献的修改、删除与重新插入在多大程度上与文章内容变更相关？
• RQ5 参考文献演化过程在多大程度上影响了维基百科文章在替代指标中的相关性？

主要发现

• 随着时间推移，维基百科参考文献中对持久标识符（如DOI、PubMedID、ISBN）的使用呈现出持续且显著的增长。
• 绝大多数参考文献整理工作由注册的人类编辑完成，而非机器人或匿名用户，表明存在强有力的社区驱动质量提升机制。
• 该数据集在追踪参考文献操作方面实现了高精度，其准确性通过全面的众包标注活动得到验证。
• 参考文献的修改、删除与重新插入十分常见，且往往是提升来源可靠性与准确性的持续性努力的一部分。
• 参考文献编辑的时间动态表明，维基百科内容中存在持续且系统性的质量保障过程。
• 研究结果支持在替代指标系统中整合参考文献演化过程，以更准确地反映文章的相关性与学术影响力。