[論文レビュー] Ranking Journals Using Altmetrics

Tamar Loach, Tim Evans|arXiv (Cornell University)|Jul 2, 2015

Complex Network Analysis Techniques被引用数 8

ひとこと要約

本論文は、学術論文がソーシャルメディア、ニュース、ブログでどの程度言及されているかを示すアラトメトリクスを用いて、従来の引用ベースの指標とは別に学術ジャーナルのランキングを付ける手法を提案する。Mendeleyや同様のプラットフォームからのデータを用いて、複数のランキング手法を評価した結果、アプローチ間で強い一貫性が確認され、アラトメトリクスは引用とは異なる視点からも信頼性高くジャーナルのインパクトを反映できることが示された。

ABSTRACT

The rank of a journal based on simple citation information is a popular measure. The simplicity and availability of rankings such as Impact Factor, Eigenfactor and SciMago Journal Rank based on trusted commercial sources ensures their widespread use for many important tasks despite the well-known limitations of such rankings. In this paper we look at an alternative approach based on information on papers from social and mainstream media sources. Our data comes from altmetric.com who identify mentions of individual academic papers in sources such as Twitter, Facebook, blogs and news outlets. We consider several different methods to produce a ranking of journals from such data. We show that most (but not all) schemes produce results, which are roughly similar, suggesting that there is a basic consistency between social media based approaches and traditional citation based methods. Most ranking schemes applied to one data set produce relatively little variation and we suggest this provides a measure of the uncertainty in any journal rating. The differences we find between data sources also shows they are capturing different aspects of journal impact. We conclude a small number of such ratings will provide the best information on journal impact.

研究の動機と目的

• ソーシャルメディアおよびニュースからのアラトメトリクスデータが、従来の引用ベースのジャーナルインパクト指標の代替として実用的かどうかを調査すること。
• Twitter、Facebook、ブログ、ニュース出典など多様なアラートメトリクス出典からのジャーナルランク付けの整合性と信頼性を評価すること。
• 異なるデータソースを有するアラトメトリクスベースのランク付けが、インパクトファクター、Eigenfactorなどの既存指標とどの程度相関するかを評価すること。
• 学問分野を越えてジャーナルインパクトを捉えるために、最も情報量の多いアラトメトリクス出典およびランク付け方式を同定すること。
• アラトメトリクスベースのジャーナル評価における不確実性と変動性を定量化し、学術的インパクト評価のベストプラクティスを示唆すること。

提案手法

• Altmetric.comプラットフォームから、学術論文の個別レベルにおけるアラトメトリクスデータ（例：Twitterなどソーシャルメディア、ニュース出典、ブログ、マスメディア）を収集した。
• 論文レベルのアラトメトリクススコアをジャーナルごとに集計し、平均、合計、中央値などの集計手法を用いてジャーナルレベルのインパクトスコアを算出した。
• 総件数、論文1件あたりの平均件数、正規化スコアといった複数のランク付け方式を適用し、ジャーナル間での性能を比較した。
• 異なるデータソースおよび集計手法におけるランク付けの妥当性を分析することで、ランク付けの頑健性を評価した。
• 統計的分析を用いて、アラトメトリクスベースのランク付けと従来の引用ベースの指標（例：インパクトファクター、Eigenfactor）との相関を評価した。
• 主要なアラトメトリクスデータソース（例：ニュース、Twitter）を同定し、それらがジャーナルインパクト測定に果たす寄与度を評価した。

実験結果

リサーチクエスチョン

• RQ1 ソーシャルメディアおよびマスメディアからのアラトメトリクスデータは、従来の引用ベースの指標と同等の信頼性で学術ジャーナルをランク付けできるか？
• RQ2 Twitterやニュース出典といった異なるアラトメトリクスデータソースから得たジャーナルランク付けは、どの程度一貫性を示すか？
• RQ3 平均、合計、中央値といった異なる集計手法が、最終的なジャーナルランク付けにどの程度影響を与えるか？
• RQ4 アラトメトリクスベースのランク付けは、インパクトファクターといった既存の引用ベースの指標と比べて、安定性と相関性に優れているか？
• RQ5 どのアラトメトリクス出典がジャーナルインパクトの把握に最も寄与しており、それぞれがどのような可視性の側面を反映しているか？

主な発見

• 大多数のアラトメトリクスベースのランク付け方式が、極めて類似したジャーナルランク付けを生み出し、異なる手法間でデータに強い一貫性があることが示された。
• ニュースとTwitterといった異なるデータソース間でのジャーナルスコアのばらつきは、それぞれがジャーナルインパクトの異なる次元を捉えている可能性を示唆している。
• アラトメトリクスベースのランク付けは、従来の引用指標とある程度相関を示したが、特に上位ジャーナルの順位付けに顕著な差異が認められた。
• スコアの変動が各方式間で比較的小さかったことから、アラトメトリクスベースのジャーナル評価には測定可能な不確実性が伴うことが示され、解釈の際にはこれを考慮すべきである。
• ニュース出典とTwitterが、アラトメトリクススコアにおいて最も影響力のある出典として浮き彫りになり、全体のジャーナル可視性指標に顕著な貢献をした。
• 少数の適切に選ばれたアラトメトリクス指標のみで、冗長性を避けても信頼性の高いジャーナルインパクト評価が可能であることが示された。