[論文レビュー] The counting house: measuring those who count. Presence of Bibliometrics, Scientometrics, Informetrics, Webometrics and Altmetrics in the Google Scholar Citations, ResearcherID, ResearchGate, Mendeley & Twitter

Alberto Martín‐Martín, Enrique Orduña‐Malea+2 more|arXiv (Cornell University)|Feb 7, 2016

Web visibility and informetrics被引用数 11

ひとこと要約

本研究は、814名の文献情報学研究者を対象に、Google Scholar Citations、ResearcherID、ResearchGate、Mendeley、Twitterの5つのプラットフォームにおける学術的指標の整合性と信頼性を評価する。スピアマン順位相関と主成分分析を用い、引用回数とプロファイルの完成度に顕著な差異が生じることを明らかにした。これは、プラットフォーム固有のバイアスが存在することを示し、研究評価における代替指標（altmetrics）および文献情報学的指標の解釈に慎重である必要があることを強調している。

ABSTRACT

Following in the footsteps of the model of scientific communication, which has recently gone through a metamorphosis (from the Gutenberg galaxy to the Web galaxy), a change in the model and methods of scientific evaluation is also taking place. A set of new scientific tools are now providing a variety of indicators which measure all actions and interactions among scientists in the digital space, making new aspects of scientific communication emerge. In this work we present a method for capturing the structure of an entire scientific community (the Bibliometrics, Scientometrics, Informetrics, Webometrics, and Altmetrics community) and the main agents that are part of it (scientists, documents, and sources) through the lens of Google Scholar Citations. Additionally, we compare these author portraits to the ones offered by other profile or social platforms currently used by academics (ResearcherID, ResearchGate, Mendeley, and Twitter), in order to test their degree of use, completeness, reliability, and the validity of the information they provide. A sample of 814 authors (researchers in Bibliometrics with a public profile created in Google Scholar Citations was subsequently searched in the other platforms, collecting the main indicators computed by each of them. The data collection was carried out on September, 2015. The Spearman correlation was applied to these indicators (a total of 31) , and a Principal Component Analysis was carried out in order to reveal the relationships among metrics and platforms as well as the possible existence of metric clusters

研究の動機と目的

• 学術的プロファイルプラットフォームが文献情報学的研究者を測定するにあたり、使用度、完成度、信頼性、妥当性の程度を評価すること。
• Google Scholar Citations、ResearcherID、ResearchGate、Mendeley、Twitterの間で引用指標および代替指標（altmetric）を比較すること。
• 文献情報学的および代替指標データを用いて、デジタルプラットフォームにおける科学コミュニティの構造的整合性を評価すること。
• 研究者プロファイルデータにおける指標クラスターやプラットフォーム固有のバイアスを特定すること。
• 複数プラットフォームを用いた研究評価指標の解釈に関する、根拠に基づく提言を提供すること。

提案手法

• Google Scholar Citationsに公開プロファイルを持つ814名の研究者からデータを収集し、ResearcherID、ResearchGate、Mendeley、Twitterと照合した。
• 各プラットフォームから、引用回数、文書数、フォロワー数などの31の主要指標を抽出し、比較分析に用いた。
• 対応する指標間の関係の強さと方向性を評価するため、スピアマン順位相関を適用した。
• プラットフォーム全体における潜在的パターンと指標のグループ化を特定するため、主成分分析（PCA）を実施した。
• 時系列的一致性を確保するため、2015年9月に実施された横断的データ収集手法を用いた。
• 文献情報学、科学情報学、情報学、ウェブオミクス、代替指標の研究コミュニティの構造を、デジタルフットプリント分析により分析した。

実験結果

リサーチクエスチョン

• RQ1 Google Scholar Citations、ResearcherID、ResearchGate、Mendeley、Twitter間で、引用指標および代替指標（altmetric）はどの程度整合しているか？
• RQ2 学術的プロファイルプラットフォーム間で、プロファイルの完成度とデータの信頼性はどの程度変動するか？
• RQ3 プラットフォーム間の指標比較から浮き彫りになる指標クラスタは何か？ そしてそれらはプラットフォーム固有のバイアスを何を示唆するか？
• RQ4 ResearchGate や Mendeley といったサブプラットフォームは、Google Scholar Citations が測定する実際の学術的インパクトをどの程度正確に反映しているか？
• RQ5 プラットフォーム間の差異は、代替指標および文献情報学的指標を研究評価に用いる際にどのような意味を持つのか？

主な発見

• Google Scholar Citationsと他のプラットフォーム間の引用回数のスピアマン相関は、一般的に低めから中程度であり、引用測定における整合性が弱いことを示している。
• ResearchGate および Mendeley の研究者プロファイルは、完成度と可視性が高く、Google Scholar Citationsと比較して引用回数をしばしば過大評価している。
• Twitterの存在は他の指標と弱く相関しており、ソーシャルメディアでの関与と学術的インパクト指標の間には明確な一致が見られないことを示唆している。
• 主成分分析により、Google Scholar Citationsが他のソーシャルおよびプロファイルプラットフォームとは別個のクラスタを形成することが判明した。これは、測定パラダイムの相違を示している。
• 特に Google Scholar Citations と ResearcherID の間で、文書数および引用回数に顕著な差異が認められ、データの信頼性の問題が浮き彫りになった。
• プロファイルの完成度は大きくばらついており、Google Scholar Citationsは一貫性があり包括的なデータを提供していたが、ResearchGate や Mendeley はしばしば代表的でない、あるいは誇張された指標を含んでいた。