[논문 리뷰] Does it Matter Which Citation Tool is Used to Compare the h-index of a Group of Highly Cited Researchers?

Nader Ale Ebrahim, Hadi Farhadi외 5명|arXiv (Cornell University)|2013. 06. 04.

scientometrics and bibliometrics research참고 문헌 7인용 수 26

한 줄 요약

이 연구는 노벨상 수상자들을 대상으로 하여 Scopus, Google Scholar, Web of Science 중 어느 citation database를 선택하느냐가 높은 영향력의 연구자들의 h-index 비교에 영향을 미치는지 조사한다. 목적적 표집을 통해 수행된 연구에서, 세 데이터베이스 간 h-index 값에 유의미한 차이가 있음을 발견하였으며, Google Scholar가 가장 높은 h-index를 기록하였고, Google Scholar와 Scopus 간 강한 양의 상관관계를 보였으며, 연구 영향 평가에서 데이터베이스에 따라 결과가 달라질 수 있음을 시사한다.

ABSTRACT

h-index retrieved by citation indexes (Scopus, Google scholar, and Web of Science) is used to measure the scientific performance and the research impact studies based on the number of publications and citations of a scientist. It also is easily available and may be used for performance measures of scientists, and for recruitment decisions. The aim of this study is to investigate the difference between the outputs and results from these three citation databases namely Scopus, Google Scholar, and Web of Science based upon the h-index of a group of highly cited researchers (Nobel Prize winner scientist). The purposive sampling method was adopted to collect the required data. The results showed that there is a significant difference in the h-index between three citation indexes of Scopus, Google scholar, and Web of Science; the Google scholar h-index was more than the h-index in two other databases. It was also concluded that there is a significant positive relationship between h-indices based on Google scholar and Scopus. The citation indexes of Scopus, Google scholar, and Web of Science may be useful for evaluating h-index of scientists but they have some limitations as well.

연구 동기 및 목표

• 높은 영향력의 연구자들의 h-index 값에 영향을 미치는 citation database 선택의 영향을 평가하기 위해.
• Scopus, Google Scholar, Web of Science 세 가지 주요 데이터베이스 간 h-index 출력값을 비교하기 위해.
• 다양한 citation 도구를 기반으로 h-index가 성과 지표로서 신뢰성과 일관성 있는지 평가하기 위해.
• 다양한 citation 데이터베이스에 기반한 h-index 사용 시 잠재적 한계를 규명하기 위해.

제안 방법

• 높은 영향력의 연구자로 선정된 노벨상 수상자들을 대상으로 목적적 표집을 실시하였다.
• Scopus, Google Scholar, Web of Science 세 citation 데이터베이스에서 h-index 값을 추출하였다.
• 세 데이터베이스 간 h-index 값을 비교하기 위해 통계 분석을 수행하였다.
• 다른 데이터베이스에서 유도된 h-index 간 관계를 평가하기 위해 상관관계 분석을 실시하였다.
• 유의미한 차이를 확인하기 위해 기술통계 및 추론 통계 검정(예: ANOVA 또는 t-검정)을 사용하였다.
• h-index 변동성과 관계를 제시하기 위해 다섯 장의 그림과 두 장의 표를 사용하였다.

실험 결과

연구 질문

• RQ1 citation database 선택이 높은 영향력의 연구자들의 h-index 값에 유의미하게 영향을 미치는가?
• RQ2 동일한 연구자 집단에 대해 Google Scholar의 h-index는 Scopus 및 Web of Science의 h-index와 어떻게 비교되는가?
• RQ3 Google Scholar에서 유도된 h-index와 Scopus에서 유도된 h-index 사이에 유의미한 양의 상관관계가 존재하는가?
• RQ4 h-index를 통해 연구 영향을 측정할 때 citation 데이터베이스 간 커버리지 및 정확도 측면에서 차이가 어느 정도 나는가?
• RQ5 다른 citation 도구에 기반한 h-index 사용 시 학술 평가에서의 한계는 무엇인가?

주요 결과

• Scopus, Google Scholar, Web of Science 세 citation 데이터베이스 간 h-index 값에 통계적으로 유의미한 차이가 존재한다.
• Google Scholar는 Scopus 및 Web of Science보다 일관되게 더 높은 h-index 값을 보고하였다.
• Google Scholar와 Scopus 간 h-index 간에 유의미한 양의 상관관계가 발견되었다.
• Web of Science의 h-index는 다른 두 데이터베이스보다 일반적으로 낮았다.
• 일부 상관관계가 존재하지만, 데이터베이스 간 h-index 값의 변동성은 데이터베이스 선택이 연구 영향 평가에 상당한 영향을 미칠 수 있음을 시사한다.
• 연구는 citation 데이터베이스가 성과 평가를 위한 일관된 h-index 측정을 제공하는 데 뚜렷한 한계를 지닌다고 결론내린다.