[논문 리뷰] Google Scholar Metrics 2014: a low cost bibliometric tool

Alberto Martín‐Martín, Juan Manuel Ayllón외 2명|arXiv (Cornell University)|2014. 07. 10.

scientometrics and bibliometrics research참고 문헌 3인용 수 12

한 줄 요약

이 논문은 Google Scholar Metrics 2014을 저비용의 문헌정보학적 도구로 평가하며, 업데이트된 2009–2013년 데이터, 구조적 변화(하위분류 수가 268개에서 261개로 감소), 그리고 지속적인 오류를 분석한다. 제한된 맞춤 설정과 최소한의 기능에도 불구하고, 이 연구는 다양한 언어와 학문 분야에서 일관된 h5-지수 및 h5-메디안 지표를 통해 과학적 영향력을 측정하는 데서의 안정성을 확인한다.

ABSTRACT

We analyse the main features of the third edition of Google Scholar Metrics (GSM), released in June 2014, focusing on its more important changes, strengths, and weaknesses. Additionally, we present some figures that outline the dimensions of this new edition, and we compare them to those of previous editions. Principal among these figures are the number of visualized publications, publication types, languages, and the maximum and minimum h5-index and h5-median values by language, subject area, and subcategory. This new edition is marked by continuity. There is nothing new other than the updating of the time frame (2009-2013) and the removal of some redundant subcategories (from 268 to 261) for English written publications. Google has just updated the data, which means that some of the errors discussed in previous studies still persist. To sum up, GSM is a minimalist information product with few features, closed (it cannot be customized by the user), and simple (navigating it only takes a few clicks). For these reasons, we consider it a 'low cost' bibliometric tool, and propose a list of features it should incorporate in order to stop being labeled as such. Notwithstanding the above, this product presents a stability in its bibliometric indicators that supports its ability to measure and track the impact of scientific publications.

연구 동기 및 목표

• Google Scholar Metrics의 제3판(2014)이 갖는 기능, 강점, 약점을 평가하기 위해.
• 데이터 범위의 변화를 분석하기 위해, 업데이트된 시간 범위(2009–2013)와 하위분류 수 감소를 포함하여.
• h5-지수 및 h5-메디안과 같은 GSM의 문헌정보학적 지표가 언어와 학문 분야 간에 신뢰성 있고 안정적인지 평가하기 위해.
• 이전 판에서 지속된 오류가 2014년판에서도 해결되지 않은 채 남아 있는지 확인하기 위해.
• GSM을 '저비용' 도구에서 더 견고하고 맞춤 설정이 가능한 문헌정보학적 자원으로 발전시키기 위한 개선 사항을 제안하기 위해.

제안 방법

• 공개된 자료와 메타데이터를 활용하여 Google Scholar Metrics 2014을 이전 판과 비교 분석하였다.
• 시각화된 논문 수, 출판 유형, 언어, 그리고 학문 분야 및 하위분류별 h5-지수 값을 포함한 정량적 지표를 수집하고 분석하였다.
• 268개에서 261개로 감소한 하위분류 수의 변화가 데이터의 세분성과 사용성에 미치는 영향을 평가하였다.
• 언어와 학문 분야 간 시간이 지남에 따라 h5-지수 및 h5-메디안 값의 일관성과 안정성을 평가하였다.
• 이전 연구에서 보고된 바와 유사한, 2014년판에 여전히 존재하는 반복적인 데이터 오류를 식별하고 기록하였다.
• 기능 향상, 맞춤 설정 능력 향상, 학술적 유용성 향상을 위한 기능 개선 사항 목록을 제안하였다.

실험 결과

연구 질문

• RQ1 Google Scholar Metrics 2014은 이전 판과 비교해 데이터 범위와 구조 측면에서 어떻게 발전했는가?
• RQ2 2014년판에서 h5-지수 및 h5-메디안 지표가 다양한 언어와 학문 분야 간에 안정적이고 신뢰할 수 있는가?
• RQ3 Google Scholar Metrics에 지속적으로 존재하는 데이터 오류가 그 도구의 신뢰성에 얼마나 심각한 영향을 미치는가?
• RQ4 GSM을 '저비용' 도구에서 더 포괄적이고 맞춤 설정이 가능한 문헌정보학적 자원으로 격상시키기 위해 무엇이 부족한가?
• RQ5 하위분류 수 감소(268개에서 261개로)는 연구자들이 데이터의 세분성과 사용성 측면에서 어떤 영향을 받는가?

주요 결과

• Google Scholar Metrics 2014은 데이터 기간을 2009–2013년으로 업데이트했지만, 이 시간 범위 변경 외에는 새로운 기능을 추가하지 않았다.
• 하위분류 수는 268개에서 261개로 감소하였으며, 주로 영어 논문을 위한 중복되거나 겹치는 분류를 제거함으로써 이루어졌다.
• 이전 버전에서 지속된 데이터 오류가 2014년판에도 여전히 존재하여 데이터 정확성에 영향을 미쳤다.
• h5-지수 및 h5-메디안 값은 다양한 언어와 학문 분야에서 뚜렷한 안정성을 보이며, 도구의 신뢰성을 뒷받침한다.
• 최소한의 인터페이스와 맞춤 설정 기능의 부재에도 불구하고, Google Scholar Metrics 2014는 시간이 지나도 일관된 문헌정보학적 지표를 유지한다.
• 간단함, 제한된 기능, 폐쇄형 아키텍처로 인해 이 도구는 '저비용'으로 특징지어지며, 논문 영향력 추적에 실질적인 선택지로 남아 있다.