[논문 리뷰] Large-scale comparison of bibliographic data sources: Scopus, Web of Science, Dimensions, Crossref, and Microsoft Academic

Martijn S. Visser, Nees Jan van Eck외 1명|arXiv (Cornell University)|2020. 05. 21.

scientometrics and bibliometrics researchDecision Sciences인용 수 20

한 줄 요약

이 연구는 2008년에서 2017년까지의 기간 동안, 커버리지, 인용 완전성, 정확성 측면에서 스코퍼, 웹 오브 사이언스, 디멘션스, 크로스레프, 마이크로소프트 애크라도스의 다섯 가지 주요 참고문헌 데이터베이스를 대규모로 체계적으로 비교한다. 연구 결과, 문서 커버리지와 인용 신뢰성에 있어 상당한 격차가 드러나며, 강력한 문헌 기반 분석을 위해 광범위한 문헌 커버리지와 영리한 필터링을 조합할 필요성이 강조된다.

ABSTRACT

We present a large-scale comparison of five multidisciplinary bibliographic data sources: Scopus, Web of Science, Dimensions, Crossref, and Microsoft Academic. The comparison considers scientific documents from the period 2008-2017 covered by these data sources. Scopus is compared in a pairwise manner with each of the other data sources. We first analyze differences between the data sources in the coverage of documents, focusing for instance on differences over time, differences per document type, and differences per discipline. We then study differences in the completeness and accuracy of citation links. Based on our analysis, we discuss strengths and weaknesses of the different data sources. We emphasize the importance of combining a comprehensive coverage of the scientific literature with a flexible set of filters for making selections of the literature.

연구 동기 및 목표

• 다섯 가지 주요 다학제적 참고문헌 데이터베이스의 커버리지, 완전성, 정확도를 평가하고 비교하기.
• 시간, 문서 유형, 학문 분야에 따라 문서 커버리지의 체계적 차이를 규명하기.
• 다섯 데이터 소스 간 인용 링크의 신뢰성과 일관성을 평가하기.
• 대규모 문헌 분석을 위한 적절한 참고문헌 데이터베이스 선택에 대한 근거 기반 지침 제공하기.
• 문헌 기반 연구에서 광범위한 커버리지와 영리한 필터링을 조합하는 중요성 강조하기.

제안 방법

• 스코퍼를 기준으로 나머지 네 데이터 소스(웹 오브 사이언스, 디멘션스, 크로스레프, 마이크로소프트 애크라도스)와의 대규모 쌍별 비교 수행.
• 2008–2017년 기간 동안 연도, 문서 유형, 학문 분야별로 문서 커버리지 분석.
• 다양한 소스 간 정방향 및 역방향 인용 기록을 비교하여 인용 링크의 완전성과 정확도 평가.
• 통계적 및 네트워크 기반 방법을 활용해 인용 데이터의 일치성과 격차 평가.
• 문서 및 인용 기록의 겹침과 분리 정도를 정량화하기 위해 표준화된 지표 적용.
• 일반화 가능성을 확보하기 위해 다학제적 과학 문헌에 집중.

실험 결과

연구 질문

• RQ1 2008년에서 2017년까지 다섯 가지 참고문헌 데이터 소스는 과학적 문서 커버리지 측면에서 어떻게 비교될 수 있는가?
• RQ2 문서 유형(예: 논문, 리뷰, 컫퍼런스 논문 등)과 학문 분야에 따라 커버리지에 어떤 차이가 있는가?
• RQ3 데이터 소스 간 인용 링크는 어느 정도 일관성이 있는가? 어떤 소스가 더 높은 완전성과 정확도를 보이는가?
• RQ4 각 데이터 소스는 대규모 문헌 기반 분석을 뒷받침하는 데 있어 어떤 강점과 약점이 있는가?
• RQ5 여러 소스를 조합함으로써 문헌 분석의 신뢰성과 종합성은 어느 정도 향상될 수 있는가?

주요 결과

• 스코퍼는 특히 과학, 기술, 공학 및 의학 분야에서 웹 오브 사이언스보다 더 넓은 커버리지와 더 높은 문서 수를 보였다.
• 디멘션스는 임상의학 및 생명과학 분야에서 강력한 커버리지 보유를 보였으며, 이 분야에서 웹 오브 사이언스와 크로스레프를 뛰어넘었다.
• 크로스레프는 오래된 출판물과 비영어 저널에서 특히 높은 비율의 누락되거나 불완전한 인용 링크를 기록했다.
• 마이크로소프트 애크라도스는 2010년 이전에는 비영어 및 비영어어 저널의 커버리지에 뚜렷한 격차를 보였다.
• 웹 오브 사이언스는 가장 일관된 인용 데이터를 보였지만, 특히 공학 및 컴퓨터 과학 분야에서 커버리지가 가장 좁았다.
• 이 연구는 단일 소스가 완전한 커버리지를 제공하지 못하며, 여러 소스를 조합함으로써 검색의 완전성과 정확성이 크게 향상됨을 발견했다.