[논문 리뷰] A New Era in Citation and Bibliometric Analyses: Web of Science, Scopus, and Google Scholar

Lokman I. Meho, Kiduk Yang|ArXiv.org|2006. 12. 23.

scientometrics and bibliometrics research참고 문헌 60인용 수 142

한 줄 요약

이 논문은 라이브러리 및 정보학 분야의 1,100건 이상의 저작물을 대상으로 웹 오브 사이언스(WoS)와 비교하여 구글 색인(Google Scholar)과 스프루스(Scopus)가 인용 지표에 미치는 영향을 평가한다. 인용 수와 학자 순위를 비교한 결과, 데이터베이스 간에 인용 수와 순위에 중대한 차이가 있음을 확인하였으며, 이는 오직 웹 오브 사이언스에만 의존할 경우의 한계를 드러내며, 공정하고 정확한 학술 평가를 위해 다중 출처 인용 분석을 권장한다.

ABSTRACT

Academic institutions, federal agencies, publishers, editors, authors, and librarians increasingly rely on citation analysis for making hiring, promotion, tenure, funding, and/or reviewer and journal evaluation and selection decisions. The Institute for Scientific Information's (ISI) citation databases have been used for decades as a starting point and often as the only tools for locating citations and/or conducting citation analyses. ISI databases (or Web of Science), however, may no longer be adequate as the only or even the main sources of citations because new databases and tools that allow citation searching are now available. Whether these new databases and tools complement or represent alternatives to Web of Science (WoS) is important to explore. Using a group of 15 library and information science faculty members as a case study, this paper examines the effects of using Scopus and Google Scholar (GS) on the citation counts and rankings of scholars as measured by WoS. The paper discusses the strengths and weaknesses of WoS, Scopus, and GS, their overlap and uniqueness, quality and language of the citations, and the implications of the findings for citation analysis. The project involved citation searching for approximately 1,100 scholarly works published by the study group and over 200 works by a test group (an additional 10 faculty members). Overall, more than 10,000 citing and purportedly citing documents were examined. WoS data took about 100 hours of collecting and processing time, Scopus consumed 200 hours, and GS a grueling 3,000 hours.

연구 동기 및 목표

• 웹 오브 사이언스, 스프루스, 구글 색인 간의 인용 수의 신뢰성과 일관성을 평가하기 위해.
• 보조 데이터베이스의 사용이 학자 순위와 인용 지표에 어떻게 영향을 미치는지 검토하기 위해.
• 각 데이터베이스에서 인용 데이터를 수집하는 데 소요되는 시간 투자량을 평가하기 위해.
• 각 인용 데이터베이스의 강점, 약점 및 고유한 커버리지 측면을 평가하여 학술 평가에 기여하기 위해.
• 학술 의사결정에 있어 인용 분석을 향상시키기 위한 근거 기반 권고안을 제공하기 위해.

제안 방법

• 연구진은 15명의 라이브러리 및 정보학 분야 교수 및 10명의 시험 그룹 교수로부터 1,100건의 학술 저작물에 대해 인용 검색을 수행하였다.
• 웹 오브 사이언스, 스프루스, 구글 색인에서 인용 데이터를 수집하고 처리하였으며, 인용된 문서와 잠재적으로 인용된 문서를 상세히 추적하였다.
• 세 데이터베이스 간의 인용 수와 학자 순위를 비교하여 일관성과 겹침을 평가하였다.
• 데이터 수집에 소요된 시간을 체계적으로 기록하였으며, 웹 오브 사이언스에 100시간, 스프루스에 200시간, 구글 색인에 3,000시간이 소요되었다.
• 커버리지와 신뢰성 평가를 위해 각 데이터베이스 간의 인용의 질, 언어, 유일성에 대해 분석하였다.
• 각 데이터베이스의 추가가치 평가를 위해 인용 겹침과 유일성에 대한 비교 분석을 수행하였다.

실험 결과

연구 질문

• RQ1 동일한 학술 저작물에 대해 웹 오브 사이언스, 스프루스, 구글 색인 간의 인용 수는 어떻게 다를까?
• RQ2 웹 오브 사이언스를 사용할 때와 스프루스 또는 구글 색인을 사용할 때 학자 순위가 인용 수 기반으로 얼마나 다를까?
• RQ3 세 데이터베이스 각각에서 인용 데이터를 수집하는 데 소요되는 시간 투자는 얼마인가?
• RQ4 웹 오브 사이언스, 스프루스, 구글 색인 간의 인용의 커버리지, 질, 언어는 어떻게 다를까?
• RQ5 이러한 차이가 채용, 정년, 연구 자금 지원과 같은 인용 기반 학술 평가에 어떤 영향을 미칠까?

주요 결과

• 구글 색인은 웹 오브 사이언스와 스프루스보다 유의미하게 높은 인용 수를 기록하였으며, 일부 저작물은 GS에서 10배 이상 더 많은 인용을 받았다.
• 스프루스와 웹 오브 사이언스 간에는 중간 정도의 인용 수 겹침이 있었지만, 특히 중위권 및 신규 학자들에게서 순위 차이가 흔히 발생하였다.
• 구글 색인에서 인용 데이터를 수집하는 데 소요된 시간(3,000시간)은 웹 오브 사이언스(100시간)와 스프루스(200시간)에 비해 크게 높았으며, 이는 주요 실무적 부담을 의미한다.
• 구글 색인은 더 높은 비율의 비영어권 및 동료 심사 없이 발행된 자료를 포함하여, 인용의 질과 신뢰성에 대한 우려를 제기하였다.
• 웹 오브 사이언스는 가장 높은 인용의 질과 일관성을 보였지만, 스프루스와 특히 구글 색인에 비해 커버리지가 더 제한적이었다.
• 연구는 오직 웹 오브 사이언스에만 의존할 경우 인용 수를 과소 평가하고, 특히 다학제적 및 비영어권 연구의 학술 영향력을 잘못 표현할 위험이 있음을 발견하였다.