[논문 리뷰] 'I Updated the ': The Evolution of References in the English Wikipedia and the Implications for Altmetrics

Olga Zagovora, Roberto Ulloa외 2명|arXiv (Cornell University)|2020. 10. 06.

Wikis in Education and Collaboration참고 문헌 17인용 수 4

한 줄 요약

이 논문은 2019년 6월까지 영문 위키백과에서 생성된 5,500만 건이 넘는 위키백과 참조자료에 대한 공개 데이터셋을 소개하며, 참조 생성, 수정, 삭제, 재삽입을 고정밀도로 추적할 수 있는 새로운 방법을 제시한다. 연구 결과는 지속적인 인간 주도의 참조 품질 향상 노력이 지속적 식별자(DOI, ISBN 등)의 사용 증가를 통해 드러나며, 알트메트릭스 설계에 參照의 진화를 통합할 필요성을 강조한다.

ABSTRACT

With this work, we present a publicly available dataset of the history of all the references (more than 55 million) ever used in the English Wikipedia until June 2019. We have applied a new method for identifying and monitoring references in Wikipedia, so that for each reference we can provide data about associated actions: creation, modifications, deletions, and reinsertions. The high accuracy of this method and the resulting dataset was confirmed via a comprehensive crowdworker labelling campaign. We use the dataset to study the temporal evolution of Wikipedia references as well as users' editing behaviour. We find evidence of a mostly productive and continuous effort to improve the quality of references: (1) there is a persistent increase of reference and document identifiers (DOI, PubMedID, PMC, ISBN, ISSN, ArXiv ID), and (2) most of the reference curation work is done by registered humans (not bots or anonymous editors). We conclude that the evolution of Wikipedia references, including the dynamics of the community processes that tend to them should be leveraged in the design of relevance indexes for altmetrics, and our dataset can be pivotal for such effort.

연구 동기 및 목표

• 영문 위키백과의 참조 기록 전반을 기록한 종합적이고 공개 가능한 데이터셋을 구축하기.
• 참조 편집(생성, 수정, 삭제, 재삽입 포함)을 정확하게 식별하고 추적할 수 있는 방법을 개발하고 검증하기.
• 참조 정제의 시간적 동역학을 분석하고, 등록 사용자, 봇, 익명 편집자 간의 기여 분포를 평가하기.
• 참조 진화가 알트메트릭스 시스템의 관련성 인덱스 설계에 미치는 영향을 평가하기.
• 위키백과의 참조 정제 과정의 품질과 지속 가능성에 대한 실증적 증거 제공하기.

제안 방법

• 위키백과의 수정 기록에서 모든 참조 편집을 분석하고 추적하기 위한 새로운 알고리즘적 접근법을 개발하여, 높은 정밀도로 참조 관련 작업을 식별하였다.
• 정형화된 메타데이터와 텍스트 패턴을 활용하여 일반 기사 편집과 참조 편집을 구분함으로써, 참조 수명 주기 이벤트의 세밀한 로깅을 가능하게 하였다.
• 방법의 정확도를 검증하기 위해 커뮤니티 작업자 라벨링 캠페인을 실시하여 참조 작업 식별의 신뢰성을 확보하였다.
• 2019년 6월까지의 모든 위키백과 수정 기록을 처리하여, 타임스탬프와 사용자 식별자와 연계된 모든 참조 변경 사항을 캡처한 데이터셋을 구축하였다.
• DOI, PubMedID, ISBN 등 지속적 식별자를 추출하고 시간에 따라 추적하여 참조 품질 및 표준화 경향을 평가하였다.
• 통계적 및 시간적 분석을 적용하여 편집 패턴, 사용자 기여, 참조 유형의 진화를 연구하였다.

실험 결과

연구 질문

• RQ1 위키백과 참조에서 지속적 식별자(DOI, ISBN 등)의 사용은 시간이 지남에 따라 어떻게 변화해 왔는가?
• RQ2 참조 정제 작업의 분포는 등록 사용자, 봇, 익명 편집자 간에 어떻게 이루어져 있는가?
• RQ3 참조 편집이 지속적이고 품질 중심의 개선 과정을 반영하는 정도는 어느 정도인가?
• RQ4 참조 수정, 삭제, 재삽입은 기사 내용 변화와 어떤 관련이 있는가?
• RQ5 참조 진화 과정이 알트메트릭스에서 기사의 관련성에 미치는 역할은 무엇인가?

주요 결과

• DOI, PubMedID, ISBN 등의 지속적 식별자 사용은 시간이 지남에 따라 지속적이고 뚜렷이 증가하는 추세를 보였다.
• 참조 정제 작업의 대부분은 봇이나 익명 사용자가 아닌, 등록된 인간 편집자에 의해 수행되어, 강력한 커뮤니티 주도 품질 향상 노력이 있음을 시사한다.
• 참조 작업 추적 정확도가 매우 높았으며, 종합적인 커뮤니티 작업자 라벨링 캠페인을 통해 검증되었다.
• 참조 수정, 삭제, 재삽입은 흔히 발생하며, 주로 출처의 신뢰성과 정확성을 향상시키기 위한 지속적인 노력의 일부이다.
• 참조 편집의 시간적 동역학은 위키백과 콘텐츠에서 지속적인 체계적 품질 보증 과정이 이루어지고 있음을 시사한다.
• 결과는 알트메트릭스 시스템에 참조 진화를 통합함으로써 기사의 관련성과 학술적 영향을 더 정확히 반영할 수 있음을 뒷받침한다.