[論文レビュー] 'I Updated the ': The Evolution of References in the English Wikipedia and the Implications for Altmetrics

Olga Zagovora, Roberto Ulloa+2 more|arXiv (Cornell University)|Oct 6, 2020

Wikis in Education and Collaboration参考文献 17被引用数 4

ひとこと要約

本論文は、2019年6月までの英語版ウィキペディアから5500万件以上の参照を含む公開データセットを紹介しており、参照の作成、変更、削除、再挿入を高精度で追跡するための新規手法を用いている。研究では、恒久的識別子（例：DOI、ISBN）の使用増加を通じて、人間による継続的な参照品質向上の取り組みが浮き彫りになった。これは、代替指標（altmetrics）の設計において参照の進化を組み込む必要性を示している。

ABSTRACT

With this work, we present a publicly available dataset of the history of all the references (more than 55 million) ever used in the English Wikipedia until June 2019. We have applied a new method for identifying and monitoring references in Wikipedia, so that for each reference we can provide data about associated actions: creation, modifications, deletions, and reinsertions. The high accuracy of this method and the resulting dataset was confirmed via a comprehensive crowdworker labelling campaign. We use the dataset to study the temporal evolution of Wikipedia references as well as users' editing behaviour. We find evidence of a mostly productive and continuous effort to improve the quality of references: (1) there is a persistent increase of reference and document identifiers (DOI, PubMedID, PMC, ISBN, ISSN, ArXiv ID), and (2) most of the reference curation work is done by registered humans (not bots or anonymous editors). We conclude that the evolution of Wikipedia references, including the dynamics of the community processes that tend to them should be leveraged in the design of relevance indexes for altmetrics, and our dataset can be pivotal for such effort.

研究の動機と目的

• 英語版ウィキペディアの参照の全履歴を記錎する包括的かつ公開可能なデータセットの作成。
• 参照編集（作成、変更、削除、再挿入を含む）を正確に同定・追跡するための手法の開発および検証。
• 参照のキュレートの時間的ダイナミクスを分析し、登録済みユーザーとボット、匿名編集者との役割分担を評価する。
• 参照の進化が代替指標システムにおける関連性インデックス設計に与える影響を評価する。
• ウィキペディアの参照キュレーティングプロセスの品質と持続可能性に関する実証的証拠を提供する。

提案手法

• ウィキペディアの改訂履歴に含まれるすべての参照編集を解析・追跡するための新規アルゴリズム的手法を開発し、参照関連の行動を高い精度で同定した。
• 構造化されたメタデータとテキストパターンを活用して、一般の記事編集とは区別する参照編集を特定し、参照ライフサイクルイベントの細分化ログを可能にした。
• 手法の正確性を検証するため、クラウドワーカーによるラベル付けキャンペーンを実施し、参照行動の同定の信頼性を確保した。
• 2019年6月までのすべてのウィキペディアの改訂を処理することでデータセットを構築し、タイムスタンプおよびユーザーIDを関連付けて、すべての参照変更を記録した。
• DOI、PubMedID、ISBNなど恒久的識別子を抽出し、時間経過に伴うトレンドを評価することで、参照の品質および標準化の傾向を分析した。
• 統計的および時間的分析を用いて、編集パターン、ユーザーの貢献、参照タイプの進化を検証した。

実験結果

リサーチクエスチョン

• RQ1 ウィキペディアの参照における恒久的識別子（例：DOI、ISBN）の使用は、時間経過とともにどのように変化したか？
• RQ2 登録済みユーザー、ボット、匿名編集者との間で、参照キュレーティング作業の割合はどのように分布しているか？
• RQ3 参照編集は、継続的かつ品質志向的な改善プロセスをどれほど反映しているか？
• RQ4 参照の変更、削除、再挿入は、記事の内容変更とどのように相関しているか？
• RQ5 参照の進化プロセスは、代替指標におけるウィキペディア記事の関連性をどのように規定しているか？

主な発見

• DOI、PubMedID、ISBNなどの恒久的識別子の使用は、時間の経過とともに継続的かつ顕著に増加している。
• 参照キュレーティング作業の大部分は、ボットや匿名ユーザーではなく、登録済みの人間編集者によって行われており、コミュニティ主導の品質向上努力が顕著である。
• クラウドワーカーによるラベル付けキャンペーンを通じて、高い正確性で参照行動を追跡できることを検証した。
• 参照の変更、削除、再挿入は一般的であり、しばしば出典の信頼性や正確性を向上させる継続的な取り組みの一部である。
• 参照編集の時間的ダイナミクスから、ウィキペディアのコンテンツにおける継続的かつ体系的な品質保証プロセスがうかがえる。
• 研究結果は、代替指標システムに参照の進化を統合することで、記事の関連性や学術的インパactsをより適切に反映できる可能性を示している。