[논문 리뷰] An analysis of the suitability of OpenAlex for bibliometric analyses

Juan Pablo Alperín, Jason Portenoy외 3명|arXiv (Cornell University)|2024. 04. 26.

Big Data and Business Intelligence인용 수 15

한 줄 요약

이 연구는 OpenAlex를 Scopus와 비교하여 OpenAlex가 Scopus의 상집합이며 일부 분석에 적합하다고 밝히며(특히 국가 수준에서), 메타데이터의 정확성과 완전성은 더 넓은 신뢰 가능한 사용을 확대하기 위해 추가 연구가 필요하다.

ABSTRACT

Scopus and the Web of Science have been the foundation for research in the science of science even though these traditional databases systematically underrepresent certain disciplines and world regions. In response, new inclusive databases, notably OpenAlex, have emerged. While many studies have begun using OpenAlex as a data source, few critically assess its limitations. This study, conducted in collaboration with the OpenAlex team, addresses this gap by comparing OpenAlex to Scopus across a number of dimensions. The analysis concludes that OpenAlex is a superset of Scopus and can be a reliable alternative for some analyses, particularly at the country level. Despite this, issues of metadata accuracy and completeness show that additional research is needed to fully comprehend and address OpenAlex's limitations. Doing so will be necessary to confidently use OpenAlex across a wider set of analyses, including those that are not at all possible with more constrained databases.

연구 동기 및 목표

• Scopus와 Web of Science를 넘어서는 포괄적인 계량서지 데이터 소스의 필요성을 고취한다.
• 여러 차원에서 Scopus와 직접 비교하여 OpenAlex를 계량서지 분석의 데이터 소스로 평가한다.
• 메타데이터 정확도와 완전성과 관련된 OpenAlex의 한계를 식별한다.
• 국가 수준 분석에서의 OpenAlex의 신뢰성과 더 넓은 분석에 대한 가능성을 평가한다.
• OpenAlex의 적합성을 향상시키기 위해 추가 연구가 필요한 영역을 제시한다.

제안 방법

• 여러 차원에 걸쳐 Scopus와 비교 분석을 수행하기 위해 OpenAlex 팀과 협력한다.
• 포괄 범위, 정확도, 완전성 등 데이터 세트의 특성을 평가한다.
• 특히 국가 수준 분석에 대한 OpenAlex의 신뢰성을 평가한다.
• OpenAlex가 실행 가능한 대안인 시나리오를 결정하기 위해 결과를 종합한다.
• 메타데이터 문제를 해결하기 위한 한계점과 향후 연구 방향을 논의한다.

실험 결과

연구 질문

• RQ1 커버리지와 포용성 측면에서 OpenAlex가 Scopus의 상집합인가?
• RQ2 어떤 계량서지 분석에서 OpenAlex가 Scopus 또는 Web of Science의 신뢰할 수 있는 대안이 되는가?
• RQ3 OpenAlex의 메타데이터 정확도와 완전성의 한계는 무엇인가?
• RQ4 Scopus와 비교하여 국가 수준 분석에서 OpenAlex의 성능은 어떠한가?
• RQ5 더 넓은 분석에 대한 OpenAlex의 한계를 해결하기 위해 필요한 추가 연구는 무엇인가?

주요 결과

• OpenAlex는 Scopus의 상집합이다.
• OpenAlex는 특히 국가 수준에서 일부 분석에 신뢰할 수 있는 대안이 될 수 있다.
• OpenAlex의 메타데이터 정확도와 완전성은 주의가 필요한 한계를 나타낸다.
• OpenAlex의 한계를 이해하고 해결하기 위해 추가 연구가 필요하다.
• 더 제한된 데이터베이스로 가능했던 분석을 넘어서는 폭넓은 분석은 메타데이터 품질 향상에 달려 있다.