[논문 리뷰] The counting house: measuring those who count. Presence of Bibliometrics, Scientometrics, Informetrics, Webometrics and Altmetrics in the Google Scholar Citations, ResearcherID, ResearchGate, Mendeley & Twitter

Alberto Martín‐Martín, Enrique Orduña‐Malea외 2명|arXiv (Cornell University)|2016. 02. 07.

Web visibility and informetrics인용 수 11

한 줄 요약

이 연구는 814명의 박람회학자 연구자들을 대상으로 Google Scholar Citations, ResearcherID, ResearchGate, Mendeley, Twitter 등 다섯 플랫폼 간 학술 지표의 일관성과 신뢰성을 평가한다. 스피어만 상관계수와 주성분 분석을 사용하여, 인용 수와 프로필 완전성 측면에서 상당한 격차가 있음을 밝혀내며, 플랫폼별 편향이 존재하고 연구 평가에서 앨트메트릭스 및 박람회학적 지표를 해석할 때 신중함이 필요하다고 강조한다.

ABSTRACT

Following in the footsteps of the model of scientific communication, which has recently gone through a metamorphosis (from the Gutenberg galaxy to the Web galaxy), a change in the model and methods of scientific evaluation is also taking place. A set of new scientific tools are now providing a variety of indicators which measure all actions and interactions among scientists in the digital space, making new aspects of scientific communication emerge. In this work we present a method for capturing the structure of an entire scientific community (the Bibliometrics, Scientometrics, Informetrics, Webometrics, and Altmetrics community) and the main agents that are part of it (scientists, documents, and sources) through the lens of Google Scholar Citations. Additionally, we compare these author portraits to the ones offered by other profile or social platforms currently used by academics (ResearcherID, ResearchGate, Mendeley, and Twitter), in order to test their degree of use, completeness, reliability, and the validity of the information they provide. A sample of 814 authors (researchers in Bibliometrics with a public profile created in Google Scholar Citations was subsequently searched in the other platforms, collecting the main indicators computed by each of them. The data collection was carried out on September, 2015. The Spearman correlation was applied to these indicators (a total of 31) , and a Principal Component Analysis was carried out in order to reveal the relationships among metrics and platforms as well as the possible existence of metric clusters

연구 동기 및 목표

• 학술 프로필 플랫폼이 박람회학자 연구자를 측정하는 데 있어 사용도, 완전성, 신뢰성, 타당도의 정도를 평가하기 위해.
• Google Scholar Citations, ResearcherID, ResearchGate, Mendeley, Twitter 간 인용 지표와 앨트메트릭스 지표를 비교하기 위해.
• 박람회학적 및 앨트메트릭스 데이터를 활용하여 디지털 플랫폼에서 과학 공동체의 구조적 일치성을 평가하기 위해.
• 연구자 프로필 데이터에서 지표 군집과 플랫폼 특화 편향을 식별하기 위해.
• 다중 플랫폼 연구 평가 지표를 해석하기 위한 근거 기반 권고를 제공하기 위해.

제안 방법

• Google Scholar Citations에 공개 프로필을 보유한 814명의 연구자로부터 데이터를 수집하였으며, ResearcherID, ResearchGate, Mendeley, Twitter와의 교차 확인을 실시하였다.
• 각 플랫폼에서 핵심 지표 31개(예: 인용 수, 문서 수, 팔로워 수 등)를 추출하여 비교 분석을 수행하였다.
• 서로 대응하는 지표 간 관계의 강도와 방향성을 평가하기 위해 스피어만 순위 상관계수를 적용하였다.
• 플랫폼 간 기저 패턴과 지표 군집을 식별하기 위해 주성분 분석(PCA)을 수행하였다.
• 시간적 일관성을 확보하기 위해 2015년 9월에 시행된 횡단적 데이터 수집 방법을 사용하였다.
• 박람회학, 과학측정학, 정보측정학, 웹측정학, 앨트메트릭스 연구 공동체의 구조를 디지털 풋프린트 분석을 통해 분석하였다.

실험 결과

연구 질문

• RQ1 Google Scholar Citations, ResearcherID, ResearchGate, Mendeley, Twitter 간 인용 지표와 앨트메트릭스 지표는 얼마나 일관한가?
• RQ2 학술 프로필 플랫폼 간 프로필 완전성과 데이터 신뢰성은 어느 정도로 다양하게 나타나는가?
• RQ3 플랫폼 간 지표 비교에서 드러나는 지표 군집은 무엇이며, 이는 플랫폼 특화 편향을 어떻게 드러내는가?
• RQ4 이차 플랫폼(예: ResearchGate, Mendeley)은 Google Scholar Citations가 측정한 실제 학술 영향력을 얼마나 잘 반영하는가?
• RQ5 플랫폼 간 격차는 앨트메트릭스 및 박람회학적 지표를 연구 평가에 사용할 때 어떤 함의를 지닌다?

주요 결과

• Google Scholar Citations의 인용 수와 다른 플랫폼 간의 스피어만 상관계수는 일반적으로 낮거나 중간 수준이었으며, 이는 인용 측정의 약한 일관성을 시사한다.
• ResearchGate와 Mendeley의 연구자 프로필은 완전성과 가시성이 높았지만, 일반적으로 Google Scholar Citations에 비해 인용 수를 과대평가하는 경향이 있었다.
• Twitter 존재는 다른 지표와 약하게 상관관계가 있었으며, 이는 소셜 미디어 참여도와 학술 영향력 지표 간의 일치성이 낮음을 시사한다.
• 주성분 분석을 통해 명백한 지표 군집이 드러났으며, Google Scholar Citations는 사회적 및 프로필 플랫폼과 별개의 군집을 형성하여 측정 철학의 상이함을 보여주었다.
• 특히 Google Scholar Citations와 ResearcherID 간에 문서 수와 인용 수에서 뚜렷한 격차가 관찰되어 데이터의 신뢰성 문제를 드러냈다.
• 프로필 완전성은 다양하게 나타났다: Google Scholar Citations는 가장 일관되고 종합적인 데이터를 보였고, ResearchGate와 Mendeley는 종종 대표성 없거나 과대 조정된 지표를 포함하고 있었다.