[논문 리뷰] Reference Coverage Analysis of OpenAlex compared to Web of Science and Scopus

Jack H. Culbert, Anne Hobert외 5명|arXiv (Cornell University)|2024. 01. 29.

Research Data Management Practices인용 수 23

한 줄 요약

본 연구는 OpenAlex를 Web of Science 및 Scopus와 비교하여 참고문헌 커버리지와 메타데이터를 평가한다. OpenAlex는 참고문헌 커버리지가 비슷하지만 초록 및 OA에 대해 혼합된 결과를 보이고, 인용저자(ORCID) 커버리지가 더 높지만 저자 식별 문제 가능성이 있음.

ABSTRACT

OpenAlex is a promising open source of scholarly metadata, and competitor to established proprietary sources, such as the Web of Science and Scopus. As OpenAlex provides its data freely and openly, it permits researchers to perform bibliometric studies that can be reproduced in the community without licensing barriers. However, as OpenAlex is a rapidly evolving source and the data contained within is expanding and also quickly changing, the question naturally arises as to the trustworthiness of its data. In this report, we will study the reference coverage and selected metadata within each database and compare them with each other to help address this open question in bibliometrics. In our large-scale study, we demonstrate that, when restricted to a cleaned dataset of 16.8 million recent publications shared by all three databases, OpenAlex has average source reference numbers and internal coverage rates comparable to both Web of Science and Scopus. We further analyse the metadata in OpenAlex, the Web of Science and Scopus by journal, finding a similarity in the distribution of source reference counts in the Web of Science and Scopus as compared to OpenAlex. We also demonstrate that the comparison of other core metadata covered by OpenAlex shows mixed results when broken down by journal, capturing more ORCID identifiers, fewer abstracts and a similar number of Open Access status indicators per article when compared to both the Web of Science and Scopus.

연구 동기 및 목표

• 2015–2022년의 공유 코퍼스에서 OpenAlex의 참고문헌 커버리지가 Web of Science 및 Scopus와 어떻게 비교되는지 평가한다.
• OpenAlex 메타데이터 커버리지(초록, ORCID, OA)를 WoS 및 Scopus와 비교하여 평가한다.
• 세 데이터베이스 간의 참고문헌 수 및 DOI 중복 제거에서의 데이터 품질 문제를 조사한다.

제안 방법

• 2015–2022년에 발표된 항목에 대해 세 데이터베이스 모두에서 DOI가 정확히 일치하는 Shared Corpus를 구성한다(참고문헌은 1996–2022).
• 제공자 보고 수와 자체 계산 수(총계 및 원천)를 사용해 기록당 평균 참고문헌 수와 내부 커버리지를 계산한다.
• 저널별로 초록, ORCID 존재 여부, Open Access 상태에 대한 메타데이터 커버리지를 계산하고 비교한다.
• 사전에 계산된 수와 자체 계산 수의 불일치를 분석해 데이터 품질을 평가한다.

실험 결과

연구 질문

• RQ1 공유 코퍼스(2015–2022) 및 1996–2022 참고문헌에 대해 OpenAlex의 내부/참고문헌 커버리지가 Web of Science 및 Scopus와 어떻게 비교되는가?
• RQ2 공유 코퍼스 내에서 OpenAlex의 초록, ORCID 존재 여부, OA 상태 메타데이터 커버리지가 독점 데이터베이스와 어떻게 비교되는가?
• RQ3 참고문헌 수의 데이터 품질에 영향을 미치는 이슈(예: DOI 중복, 누락된 DOI, 삭제된 참조 등)가 데이터베이스 간 비교에 어떤 영향을 미치는가?
• RQ4 실무에서 재현 가능한 서지계량학과 활용에 대한 OpenAlex의 메타데이터 특성이 어떤 함의를 갖는가?

주요 결과

• 공유 코퍼스(2015–2022)로 제한했을 때 OpenAlex의 평균 참고문헌 수는 Web of Science 및 Scopus와 상응한다.
• 공유 코퍼스 내에서 OpenAlex의 평균 출처 참고문헌 수는 34.863(참고문헌 1996–2022)으로 WoS(33.416) 및 Scopus(33.363)와 비교된다.
• 초록 커버리지는 WoS/Scopus에서 더 높아(>92%) OpenAlex는 87%이다.
• ORCID 커버리지는 OpenAlex에서 더 높아(적어도 하나의 ORCID를 가진 비율 92%) WoS(16%) 및 Scopus(32%)보다 높다.
• Open Access 커버리지는 세 데이터베이스 전반에서 약 49%의 커버리지가 나타나며, OpenAlex의 Unpaywall를 통한 인덱싱 지연이 약간 더 우호적이다.