[論文レビュー] The counting house: measuring those who count. Presence of Bibliometrics, Scientometrics, Informetrics, Webometrics and Altmetrics in the Google Scholar Citations, ResearcherID, ResearchGate, Mendeley & Twitter

Alberto Martín‐Martín, Enrique Orduña‐Malea+2 more|arXiv (Cornell University)|Jan 19, 2016

Web visibility and informetrics参考文献 51被引用数 37

ひとこと要約

本研究は、814名の文献情報学的研究者を対象に、Google Scholar Citations (GSC)、ResearcherID、ResearchGate、Mendeley、Twitter の各学術プロファイルプラットフォームの信頼性と包括性を評価した。GSCは科学者コミュニティの描写において最も正確であると判明したが、特にプロファイルの完全性と正確性の面で、各プラットフォームにデータ品質の問題が存在すると警告している。

ABSTRACT

Following in the footsteps of the model of scientific communication, which has recently gone through a metamorphosis (from the Gutenberg galaxy to the Web galaxy), a change in the model and methods of scientific evaluation is also taking place. A set of new scientific tools are now providing a variety of indicators which measure all actions and interactions among scientists in the digital space, making new aspects of scientific communication emerge. In this work we present a method for ―capturing‖ the structure of an entire scientific community (the Bibliometrics, Scientometrics, Informetrics, Webometrics, and Altmetrics community) and the main agents that are part of it (scientists, documents, and sources) through the lens of Google Scholar Citations (GSC). Additionally, we compare these author ―portraits‖ to the ones offered by other profile or social platforms currently used by academics (ResearcherID, ResearchGate, Mendeley, and Twitter), in order to test their degree of use, completeness, reliability, and the validity of the information they provide. A sample of 814 authors (researchers in Bibliometrics with a public profile created in GSC) was subsequently searched in the other platforms, collecting the main indicators computed by each of them. The data collection was carried out on September, 2015. The Spearman correlation (α= 0.05) was applied to these indicators (a total of 31), and a Principal Component Analysis was carried out in order to reveal the relationships among metrics and platforms as well as the possible existence of metric clusters. We found that it is feasible to depict an accurate representation of the current state of the Bibliometrics community using data from GSC (the most influential authors, documents, journals, and publishers). Regarding the number of authors found in each platform, GSC takes the first place (814 authors), followed at a distance by ResearchGate (543), which is currently growing at a vertiginous speed. The number of Mendeley profiles is high, although 17.1% of them are basically empty. ResearcherID is also affected by this issue (34.45% of the profiles are empty), as is Twitter (47% of the Twitter accounts have published less than 100 tweets). Only 11% of our sample (93 authors) have created a profile in all the platforms analyzed in this study. From the PCA, we found two kinds of impact on the Web: first, all metrics related to academic impact. This first group can further be divided into usage metrics (views and downloads) and citation metrics. Second, all metrics related to connectivity and popularity (followers). ResearchGate indicators, as well as Mendeley readers, present a high correlation to all the indicators from GSC, but only a moderate correlation to the indicators in ResearcherID. Twitter indicators achieve only low correlations to the rest of the indicators, the highest of these being to GSC (0.42-0.46), and to Mendeley (0.41-0.46). Lastly, we present a taxonomy of all the errors that may affect the reliability of the data contained in each of these platforms, with a special emphasis in GSC, since it has been our main source of data. These errors alert us to the danger of blindly using any of these platforms for the assessment of individuals, without verifying the veracity and exhaustiveness of the data. In addition to this working paper, we also have made available a website where all the data obtained for each author and the results of the analysis of the most cited documents can be found: Scholar Mirrors.

研究の動機と目的

• 学術的プロファイルプラットフォームが科学的インパクトを測定するうえで、完全性、信頼性、妥当性を評価すること。
• Google Scholar Citations (GSC)、ResearcherID、ResearchGate、Mendeley、Twitter の間で指標を比較すること。
• これらのプラットフォームにおけるインパクト指標の正確性に影響を及ぼすデータ品質の問題を同定すること。
• プロファイルベースの評価の信頼性を損なうエラーの分類体系を構築すること。
• GSCが他のプラットフォームよりも文献情報学コミュニティの正確な描写を提供できることを示すこと。

提案手法

• 2015年9月に、Google Scholar Citations (GSC) に公開プロファイルを持つ814名の研究者からデータを収集した。
• 同じ研究者を対象に、ResearcherID、ResearchGate、Mendeley、Twitter でもプロファイルの完全性と指標値を比較した。
• 31の指標間の関係を評価するため、スピアマン順位相関（α=0.05）を適用した。
• 主成分分析（PCA）を用いて、指標のクラスターやプラットフォーム固有のインパクト次元を同定した。
• 信頼性に影響を及ぼすデータエラーを同定・分類し、特にGSCを主要データソースとして重点的に分析した。
• すべてのデータと分析結果を、Scholar Mirrorsウェブサイトを通じて公開した。

実験結果

リサーチクエスチョン

• RQ1 Google Scholar Citations、ResearcherID、ResearchGate、Mendeley、Twitter における研究者のプロファイルは、どの程度完全で信頼できるか？
• RQ2 異なるプラットフォームの指標は、特にGoogle Scholar Citationsとどの程度相関しているか？
• RQ3 どのプラットフォームが文献情報学コミュニティの最も正確で包括的な描写を提供しているか？
• RQ4 学術的プロファイルプラットフォームの信頼性に影響を及ぼす一般的なデータエラーの種類は何か？
• RQ5 引用インパクトとソーシャルコネクティビティといった、科学的インパクトの異なる次元を反映する指標のクラスターは存在するか？

主な発見

• Google Scholar Citations (GSC) は814名の研究者を特定し、全プラットフォームの中で最多であり、文献情報学コミュニティの最も完全で信頼性の高い描写を提供した。
• ResearchGate は543名の研究者に到達し、急成長を示し、GSCの指標と高い相関（r = 0.42–0.46）を示しており、インパクト測定の整合性が強いことが示された。
• Mendeley はプロファイル数が多くても、17.1％が実質的に空のプロファイルであり、リーディング指標はGSCおよびResearchGateと中程度の相関を示した。
• Twitterのプロファイルはほとんど活発でなく、47％のアカウントが100件未満のツイートしか投稿しておらず、他のプラットフォームと低い相関（r = 0.41–0.46）を示した。
• サンプルの11％（93名）しか5つのプラットフォームすべてにプロファイルがなく、研究者のデジタルプレゼンスに著しい断片化が生じていることが明らかになった。
• 主成分分析により、2つの主要なインパクト次元が同定された：学術的インパクト（引用と利用）とコネクティビティ／人気（フォロワー数）。GSC、ResearchGate、Mendeley は高相関指標のクラスターを形成した。