[논문 리뷰] Impact of h-index on authors ranking: A comparative analysis of Scopus and WoS

Parul Khurana, Kiran Sharma|arXiv (Cornell University)|2021. 02. 13.

scientometrics and bibliometrics research참고 문헌 22인용 수 4

한 줄 요약

이 연구는 350명의 몬اش 대학교 교수들의 출판 기록을 사용하여 스타트와 웹오브사이언스(WoS) 간의 h-인덱스 값과 저자 순위를 비교한다. 스타트에서 55%의 저자가 더 높은 h-인덱스를 기록했고, 스타트에서의 고유 출판물 비율(12.4%)이 웹오브사이언스의 비율(4.1%)보다 높았음에도 불구하고, 인용 수와 h-인덱스 간의 슼스르만 상관계수는 양자 모두에서 매우 높고 거의 동일하여, 데이터 차이가 있음에도 불구하고 저자 순위에 미치는 영향은 최소한임을 시사한다.

ABSTRACT

In academia, the research performance of the faculty members is either evaluated by the number of publications or the number of citations. Most of the time h-index is widely used during the hiring process or the faculty performance evaluation. The calculation of the h-index is shown in various databases; however, there is no recent or systematic evidence about the differences between them. In this study, we compare the difference in the h-index compiled with Scopus and Web of Science (WoS) with the aim of analyzing the ranking of the authors within a university. We analyze the publication records of 350 authors from Monash University (Australia). We also investigate the discipline wise variation in the authors ranking. 31% of the author's profiles show no variation in the two datasets whereas 55% of the author's profiles show a higher count in Scopus and 9% in WoS. The maximum difference in h-index count among Scopus and WoS is 3. On average 12.4% of publications per author are unique in Scopus and 4.1% in WoS. 53.5% of publications are common in both Scopus and WoS. Despite larger unique publications in Scopus, there is no difference shown in the Spearman correlation coefficient between WoS and Scopus citation counts and h-index.

연구 동기 및 목표

• 스타트와 웹오브사이언스(WoS) 간의 h-인덱스 차이가 학술 저자 순위에 미치는 영향을 평가하기 위해.
• 두 데이터베이스 간의 출판물 커버리지 및 인용 수의 차이가 교수 성과 평가에 영향을 미치는지 조사하기 위해.
• 스타트와 웹오브사이언스 간의 학문 분야별 h-인덱스 일관성과 순위 안정성의 변동을 분석하기 위해.
• 두 데이터베이스에서 인용 수와 h-인덱스 간의 상관관계를 평가하여 순위 신뢰성의 정도를 판단하기 위해.

제안 방법

• 몬악 대학교의 350명의 학술 구성원들의 출판 기록을 수집하였다.
• 각 저자에 대해 스타트와 웹오브사이언스 데이터베이스에서 h-인덱스 및 인용 데이터를 추출하였다.
• 각 데이터베이스에서 저자별 고유 출판물 비율을 계산하고, 중복 여부를 비교하였다.
• 스타트와 웹오브사이언스에서 인용 수와 h-인덱스 간의 스타트만 순위 상관계수를 계산하였다.
• 저자 및 학문 분야별 h-인덱스 값의 차이를 분석하여 순위 안정성을 평가하였다.
• 통계적 비교를 통해 두 데이터베이스 간의 h-인덱스 값과 출판물 커버리지의 이격 정도를 판단하였다.

실험 결과

연구 질문

• RQ1 동일한 저자에 대해 스타트와 웹오브사이언스 간의 h-인덱스 값은 어떻게 비교되는가?
• RQ2 스타트와 웹오브사이언스는 저자당 고유 출판물 수에서 얼마나 다른가?
• RQ3 스타트와 웹오브사이언스에서 인용 수와 h-인덱스 간의 상관관계는 어떠하며, 이는 저자 순위에 영향을 미치는가?
• RQ4 스타트와 웹오브사이언스 간의 h-인덱스 일관성에 학문 분야별로 뚜렷한 차이가 있는가?
• RQ5 스타트에서 더 많은 고유 출판물이 존재하는 것이 웹오브사이언스 대비 저자 순위에 측정 가능한 영향을 미치는가?

주요 결과

• 31%의 저자가 스타트와 웹오브사이언스 간의 h-인덱스에서 차이가 없었으며, 이는 샘플의 1/3에서 강한 일관성을 의미한다.
• 55%의 저자가 스타트에서 더 높은 h-인덱스를 기록했고, 오직 9%만 웹오브사이언스에서 더 높은 값을 기록하여, 스타트가 일반적으로 더 높은 h-인덱스를 부여하는 경향이 있음을 시사한다.
• 두 데이터베이스 간의 h-인덱스 최대 차이는 3이었으며, 극단적인 경우에도 발현된 분산이 제한적임을 나타낸다.
• 평균적으로 저자당 12.4%의 출판물이 스타트에서 고유했고, 웹오브사이언스에서는 4.1%에 그쳤으며, 이는 스타트의 더 넓은 커버리지가 있음을 보여준다.
• 53.5%의 출판물이 두 데이터베이스 모두에 공통으로 존재하여, 색인된 콘텐츠에 상당한 중복이 있음을 나타낸다.
• 출판물 커버리지의 차이가 있음에도 불구하고, 인용 수와 h-인덱스 간의 스타트만 상관계수는 두 데이터베이스 모두 거의 동일하여, 저자 순위에 미치는 영향은 최소한임을 암시한다.