[논문 리뷰] The counting house: measuring those who count. Presence of Bibliometrics, Scientometrics, Informetrics, Webometrics and Altmetrics in the Google Scholar Citations, ResearcherID, ResearchGate, Mendeley & Twitter

Alberto Martín‐Martín, Enrique Orduña‐Malea외 2명|arXiv (Cornell University)|2016. 01. 19.

Web visibility and informetrics참고 문헌 51인용 수 37

한 줄 요약

이 연구는 814명의 박람회학자 연구자를 대상으로 Google Scholar Citations(GSC), ResearcherID, ResearchGate, Mendeley, Twitter 등의 학술 프로필 플랫폼의 신뢰성과 완전성을 평가한다. GSC는 과학 공동체에 대한 가장 정확한 그림을 제공하며, ResearchGate와 Mendeley 지표와 높은 상관관계를 보이지만, 특히 프로필의 완전성과 정확성 측면에서 플랫폼 전반에 걸쳐 데이터 품질 문제를 경고한다.

ABSTRACT

Following in the footsteps of the model of scientific communication, which has recently gone through a metamorphosis (from the Gutenberg galaxy to the Web galaxy), a change in the model and methods of scientific evaluation is also taking place. A set of new scientific tools are now providing a variety of indicators which measure all actions and interactions among scientists in the digital space, making new aspects of scientific communication emerge. In this work we present a method for ―capturing‖ the structure of an entire scientific community (the Bibliometrics, Scientometrics, Informetrics, Webometrics, and Altmetrics community) and the main agents that are part of it (scientists, documents, and sources) through the lens of Google Scholar Citations (GSC). Additionally, we compare these author ―portraits‖ to the ones offered by other profile or social platforms currently used by academics (ResearcherID, ResearchGate, Mendeley, and Twitter), in order to test their degree of use, completeness, reliability, and the validity of the information they provide. A sample of 814 authors (researchers in Bibliometrics with a public profile created in GSC) was subsequently searched in the other platforms, collecting the main indicators computed by each of them. The data collection was carried out on September, 2015. The Spearman correlation (α= 0.05) was applied to these indicators (a total of 31), and a Principal Component Analysis was carried out in order to reveal the relationships among metrics and platforms as well as the possible existence of metric clusters. We found that it is feasible to depict an accurate representation of the current state of the Bibliometrics community using data from GSC (the most influential authors, documents, journals, and publishers). Regarding the number of authors found in each platform, GSC takes the first place (814 authors), followed at a distance by ResearchGate (543), which is currently growing at a vertiginous speed. The number of Mendeley profiles is high, although 17.1% of them are basically empty. ResearcherID is also affected by this issue (34.45% of the profiles are empty), as is Twitter (47% of the Twitter accounts have published less than 100 tweets). Only 11% of our sample (93 authors) have created a profile in all the platforms analyzed in this study. From the PCA, we found two kinds of impact on the Web: first, all metrics related to academic impact. This first group can further be divided into usage metrics (views and downloads) and citation metrics. Second, all metrics related to connectivity and popularity (followers). ResearchGate indicators, as well as Mendeley readers, present a high correlation to all the indicators from GSC, but only a moderate correlation to the indicators in ResearcherID. Twitter indicators achieve only low correlations to the rest of the indicators, the highest of these being to GSC (0.42-0.46), and to Mendeley (0.41-0.46). Lastly, we present a taxonomy of all the errors that may affect the reliability of the data contained in each of these platforms, with a special emphasis in GSC, since it has been our main source of data. These errors alert us to the danger of blindly using any of these platforms for the assessment of individuals, without verifying the veracity and exhaustiveness of the data. In addition to this working paper, we also have made available a website where all the data obtained for each author and the results of the analysis of the most cited documents can be found: Scholar Mirrors.

연구 동기 및 목표

• 학술 프로필 플랫폼이 과학적 영향력을 측정하는 데 있어 완전성, 신뢰성, 타당성을 평가하기 위해.
• Google Scholar Citations(GSC), ResearcherID, ResearchGate, Mendeley, Twitter 간의 지표를 비교하기 위해.
• 이 플랫폼들에서 영향력 지표의 정확성에 영향을 주는 데이터 품질 문제를 특정하기 위해.
• 프로필 기반 평가의 신뢰성에 해를 끼치는 오류의 분류 체계를 수립하기 위해.
• GSC가 다른 플랫폼보다 박람회학자 공동체에 더 정확한 그림를 제공함을 보여주기 위해.

제안 방법

• 2015년 9월에 Google Scholar Citations(GSC)에 공개 프로필을 보유한 814명의 연구자로부터 데이터를 수집하였다.
• 동일한 저자를 ResearcherID, ResearchGate, Mendeley, Twitter에서 검색하여 프로필의 완전성과 지표 값의 차이를 비교하였다.
• 플랫폼 간 31개 지표 간의 관계를 평가하기 위해 스피어먼 상관계수(α=0.05)를 적용하였다.
• 메트릭스의 군집과 플랫폼 특화 영향력 차원을 식별하기 위해 주성분 분석(PCA)을 수행하였다.
• 신뢰성에 영향을 주는 데이터 오류를 식별하고 분류하였으며, 특히 주요 데이터 소스로 GSC에 특별한 초점을 맞추었다.
• 모든 데이터와 분석 결과를 Scholar Mirrors 웹사이트를 통해 공개하였다.

실험 결과

연구 질문

• RQ1 Google Scholar Citations(GSC), ResearcherID, ResearchGate, Mendeley, Twitter의 연구자 프로필은 얼마나 완전하고 신뢰할 수 있는가?
• RQ2 다른 플랫폼 간의 지표가 서로 얼마나 상관관계가 있는가, 특히 Google Scholar Citations(GSC)와의 상관관계는 어느 정도인가?
• RQ3 어느 플랫폼이 박람회학자 공동체에 가장 정확하고 종합적인 그림를 제공하는가?
• RQ4 학술 프로필 플랫폼의 신뢰성에 영향을 주는 일반적인 데이터 오류의 유형은 무엇인가?
• RQ5 인용 영향력과 사회적 연결성 등의 서로 다른 과학적 영향력 차원을 반영하는 지표의 고유한 군집이 존재하는가?

주요 결과

• Google Scholar Citations(GSC)는 814명의 저자를 식별하여 모든 플랫폼 중에서 가장 높은 수치를 기록했으며, 박람회학자 공동체에 가장 완전하고 신뢰할 수 있는 그림를 제공하였다.
• ResearchGate는 543명의 저자를 확보했으며, 빠르게 성장했고, GSC 지표와 높은 상관관계(r = 0.42–0.46)를 보이며 영향력 측정에서 강력한 일치를 보였다.
• Mendeley는 높은 수의 프로필을 보였지만, 17.1%는 거의 비어 있는 상태였으며, 독자 수 지표는 GSC 및 ResearchGate와 중간 수준의 상관관계를 보였다.
• Twitter 프로필은 대부분 활동이 부족했으며, 47%의 계정이 100건 이하의 트윗만을 게시했고, 다른 플랫폼과의 상관관계는 낮게 나타났다(r = 0.41–0.46).
• 샘플의 오직 11%(93명)만이 다섯 플랫폼 모두에 프로필을 보유하고 있었으며, 연구자들의 디지털 존재의 분산 현상을 보여주었다.
• 주성분 분석(PCA)은 두 가지 주요 영향력 차원을 드러냈다: 학술적 영향력(인용 및 사용량)과 연결성/인기도(팔로워 수)로, GSC, ResearchGate, Mendeley는 높은 상관관계를 보이는 메트릭스 군집을 형성하였다.