[論文レビュー] How well developed are Altmetrics? Cross-disciplinary analysis of the presence of alternative metrics in scientific publications?

Zohreh Zahedi, Rodrigo Costas+1 more|arXiv (Cornell University)|Feb 21, 2014

scientometrics and bibliometrics research被引用数 9

ひとこと要約

本研究は、20,000件のWeb of Science公開論文のデータを用いて、科学的分野における代替指標（altmetrics）の開発と有用性を評価している。Mendeleyが最も包括的なaltmetricsデータを提供している（62.6％のカバレッジ）、Mendeleyの閲覧者数と引用回数の間に中程度の相関（r=0.49）が認められることから、性能評価におけるaltmetricsの可能性と限界が浮き彫りになった。

ABSTRACT

In this paper an analysis of the presence and possibilities of altmetrics for bibliometric and performance analysis is carried out. Using the web based tool Impact Story, we collected metrics for 20,000 random publications from the Web of Science. We studied both the presence and distribution of altmetrics in the set of publications, across fields, document types and over publication years, as well as the extent to which altmetrics correlate with citation indicators. The main result of the study is that the altmetrics source that provides the most metrics is Mendeley, with metrics on readerships for 62.6% of all the publications studied, other sources only provide marginal information. In terms of relation with citations, a moderate spearman correlation (r=0.49) has been found between Mendeley readership counts and citation indicators. Other possibilities and limitations of these indicators are discussed and future research lines are outlined.

研究の動機と目的

• 科学的出版物における代替指標（altmetrics）の現状の開発状況と利用可能性を評価すること。
• 学術分野、文書タイプ、出版年齢ごとの代替指標の分布と存在状況を調査すること。
• 代替指標と従来の引用ベース指標との相関関係を評価すること。
• 代替指標の図書情報学的およびパフォーマンス分析における強み、限界、今後の研究の方向性を特定すること。

提案手法

• 本研究は、ImpactStoryのウェブベースツールを用いて、Web of Scienceデータベースからランダムに選択された20,000件の出版物の代替指標データを収集した。
• Mendeley、Twitter、ニュース出典など複数のソースから代替指標を収集し、その存在状況と分布を評価した。
• 研究者たちは、22の学術分野、異なる文書タイプ、2000年から2012年までの出版年齢ごとに、代替指標の頻度と分布を分析した。
• Mendeleyの閲覧者数と引用回数の関係を測定するために、スピアマン順位相関を用いた。
• 分析は、代替指標の主要なソースの特定と、分野をまたいでカバレッジと信頼性を評価することに焦点を当てた。
• 代替指標の可能性と限界を評価するために、定性的および定量的アプローチを統合した。

実験結果

リサーチクエスチョン

• RQ1 代替指標は、異なる科学的分野や出版タイプにおいてどの程度広く存在しているか？
• RQ2 どの代替指標ソースが科学的出版物のデータカバレッジにおいて最も包括的か？
• RQ3 代替指標は、従来の引用指標とどの程度相関しているか？
• RQ4 代替指標の存在状況と分布は、時間経過とともに、および学術分野ごとにどのように変化するか？
• RQ5 研究評価における代替指標の主な限界と今後の研究のニーズは何か？

主な発見

• Mendeleyは、調査対象の20,000件の出版物のうち62.6％について閲覧者データを提供しており、代替指標ソースとして最も支配的であった。
• Twitter やニュース報道など他の代替指標ソースは、出版物全体にわたってわずかなデータを提供するにとどまり、顕著な不足が見られた。
• Mendeleyの閲覧者数と引用回数の間に中程度の正の相関（スピアマン r = 0.49）が確認された。
• 代替指標の分布は学術分野によって顕著に異なり、社会科学や生命科学分野で高いカバレッジを示したが、物理学分野では低かった。
• 代替指標は時間的整合性に欠け、データの可用性は時間経過とともに向上したが、依然として不均一に分布していた。
• 本研究は、標準化されたデータ収集と代替指標の分野横断的妥当性の向上の必要性を明らかにした。