[論文レビュー] Altmetrics in the wild: Using social media to explore scholarly impact

Jason Priem, Heather Piwowar+1 more|arXiv (Cornell University)|Mar 20, 2012

scientometrics and bibliometrics research被引用数 356

ひとこと要約

本研究では、Mendeley、Twitter、Wikipedia などのソーシャルメディア・プラットフォームからのアームトメトリクスを分析し、従来の引用数にとどまらない学術的インパクトを評価する。アームトメトリクスは、特にリーダーの関与や共有の形で、引用数とは異なる、多様なインパクト形態を捉えていることが判明。80%の論文がMendeleyの図書館に保存されており、25%の論文が5つ以上のソースからデータを生成している。

ABSTRACT

In growing numbers, scholars are integrating social media tools like blogs, Twitter, and Mendeley into their professional communications. The online, public nature of these tools exposes and reifies scholarly processes once hidden and ephemeral. Metrics based on this activities could inform broader, faster measures of impact, complementing traditional citation metrics. This study explores the properties of these social media-based metrics or "altmetrics", sampling 24,331 articles published by the Public Library of Science. We find that that different indicators vary greatly in activity. Around 5% of sampled articles are cited in Wikipedia, while close to 80% have been included in at least one Mendeley library. There is, however, an encouraging diversity; a quarter of articles have nonzero data from five or more different sources. Correlation and factor analysis suggest citation and altmetrics indicators track related but distinct impacts, with neither able to describe the complete picture of scholarly use alone. There are moderate correlations between Mendeley and Web of Science citation, but many altmetric indicators seem to measure impact mostly orthogonal to citation. Articles cluster in ways that suggest five different impact "flavors", capturing impacts of different types on different audiences; for instance, some articles may be heavily read and saved by scholars but seldom cited. Together, these findings encourage more research into altmetrics as complements to traditional citation measures.

研究の動機と目的

• ソーシャルメディアおよびオンライン学術ツールから得られるアームトメトリクスの特性と分布を検討すること。
• 従来の引用数指標と比較して、アームトメトリクスが学術的インパクトをどの程度測定できるかを評価すること。
• アームトメトリクスが、独立したか、重複する学術的影響の次元を反映しているかどうかを特定すること。
• 複数のアームトメトリクス・ソースにおけるパターンを分析することで、学術的インパクトの多様性を探索すること。

提案手法

• 本研究では、Public Library of Science (PLOS) が発行した24,331件の論文をサンプルとして、複数のプラットフォームからのアームトメトリクスデータを分析した。
• Wikipediaの引用、Mendeleyの図書館保存、Twitterの言及、ブログの参照など、多様なソースからのデータを収集した。
• 相関分析および因子分析を用いて、アームトメトリクスと従来の引用数（例：Web of Science）との関係を評価した。
• クラスタ分析により、読者やプラットフォームごとの違いを示す、学術的インパクトの異なる「味」を特定した。
• アームトメトリクス・ソースごとに非ゼロの活動を示す論文の割合を定量的に評価し、インパクト測定の多様性とカバレッジを評価した。

実験結果

リサーチクエスチョン

• RQ1 Mendeleyの保存やWikipediaの引用といった、さまざまなタイプのアームトメトリクス活動が、学術論文全体にどの程度広がっているか。
• RQ2 アームトメトリクスがWeb of Scienceの引用数といった従来の引用指標とどの程度相関しているか。
• RQ3 アームトメトリクスは引用数とは直交するインパクトを測定しているのか、それとも主に同じ学術的影響を反映しているのか。
• RQ4 アームトメトリクスのパターンに基づいて、異なるタイプの読者参加を示す明確なクラスタを特定できるか。

主な発見

• サンプルされたPLOS論文の約80%が、少なくとも1つのMendeley図書館に保存されており、読者参加の高い水準が示された。
• Wikipediaに引用された論文はわずか5%程度であり、他のアームトメトリクス指標と比較して、Wikipediaの言及は比較的まれであることが示された。
• 論文の25%が5つ以上の異なるアームトメトリクス・ソースから非ゼロのデータを生成しており、インパクト測定における顕著な多様性が確認された。
• Mendeleyの利用状況はWeb of Scienceの引用数と中程度の相関を示したが、多くのアームトメトリクス指標は引用数とはほとんど直交する形でインパクトを測定していた。
• 因子分析およびクラスタ分析により、5つの明確に異なる「味」の学術的インパクトが特定された。これは、論文が広く読まれて図書館に保存されていても、引用されていない可能性があることを示している。