[論文レビュー] Towards Usage-based Impact Metrics: - First Results from the MESUR Project

Johan Bollen, Herbert Van de Sompel+1 more|ArXiv.org|Apr 23, 2008

Research Data Management Practices参考文献 15被引用数 12

ひとこと要約

本論文は、主要な出版者および図書館から得た10億件を超える記録を含む、学術的使用行動の最初の大規模かつクロスインstitutionalなリファレンスデータセットを提示している。これにより、ダウンロード数や電子メール送信数などの使用ベースの指標が、学術的インパクトを信頼的かつリアルタイムで測定可能であることが示された。主な発見では、使用ベースのネットワーク指標（例：媒介性中心性）と従来の引用ベースの指標、特にPageRankのようなプレステージベースの指標との間に強い相関関係が確認され、ジャーナル・インパクトファクターよりもタイムリーで洗練されたインパクト評価が使用データによって可能であることが示唆された。

ABSTRACT

Scholarly usage data holds the potential to be used as a tool to study the dynamics of scholarship in real time, and to form the basis for the definition of novel metrics of scholarly impact. However, the formal groundwork to reliably and validly exploit usage data is lacking, and the exact nature, meaning and applicability of usage-based metrics is poorly understood. The MESUR project funded by the Andrew W. Mellon Foundation constitutes a systematic effort to define, validate and cross-validate a range of usage-based metrics of scholarly impact. MESUR has collected nearly 1 billion usage events as well as all associated bibliographic and citation data from significant publishers, aggregators and institutional consortia to construct a large-scale usage data reference set. This paper describes some major challenges related to aggregating and processing usage data, and discusses preliminary results obtained from analyzing the MESUR reference data set. The results confirm the intrinsic value of scholarly usage data, and support the feasibility of reliable and valid usage-based metrics of scholarly impact.

研究の動機と目的

• 学術的使用行動の大型で標準化されたリファレンスデータセットを構築し、使用ベースのインパクト指標の厳密な分析を可能にする。
• 多様な出版者および機関における使用データ収集におけるサンプリングバイアスを調査し、是正する。
• 従来の引用ベースの指標と比較することで、使用ベースの指標の信頼性と妥当性を検証する。
• ジャーナル・インパクトファクターのような従来のインパクト指標を、リアルタイムで使用に基づく代替指標で置き換えるか補完する可能性を検討する。

提案手法

• 14の主要な出版者、アグリゲーター、および機関コンsortiumから、書誌情報および引用メタデータを含む、約10億件の使用イベントを集計した。
• 異なる指標間の比較を公平に行うための包括的なリファレンスデータセットを構築した。
• 学術的インフルエンスを使用パターンを通じてモデル化するため、PageRankや媒介性中心性などのネットワーク分析手法を適用した。
• 使用ベースおよび引用ベースの指標の相関関係と潜在的次元を評価するため、主成分分析（PCA）を実施した。
• 使用データを用いて科学をマッピングし、学術的ネットワーク構造を可視化し、使用ベースの指標の意味のある妥当性を検証した。
• 異なるインパクト指標間の収束性と相関関係を評価するため、スピアマン順位相関係数を用いた。

実験結果

リサーチクエスチョン

• RQ1 大規模な学術的使用データは、インパクト指標の基盤として信頼的に集約・検証可能であるか？
• RQ2 使用ベースの指標は、ジャーナル・インパクトファクターやその他の従来の引用ベースの指標と比較して、信頼性と妥当性に優れているか？
• RQ3 使用ベースのネットワーク指標（例：媒介性、PageRank）は、引用ベースのプレステージ指標とどの程度相関しているか？
• RQ4 使用ネットワークは、引用ネットワークに比べて、学術的インフルエンスをモデル化する上で、構造的・表現的優位性を有しているか？
• RQ5 使用データは、引用パターンに反映されない、別個または補完的な学術的インパクトの次元を捉えているか？

主な発見

• MESURリファレンスデータセットには、2億件を超えるアーティクルレベルの使用イベントが含まれており、これまでは知られていなかった最大規模の同種データセットである。
• 使用ベースの指標、たとえば媒介性中心性は、引用ベースの媒介性中心性とスピアマン相関係数0.71（p < 0.001）の強い相関を示しており、学術的プレステージを測定する上で整合性があることが示された。
• 引用ベースの媒介性中心性と密着性中心性の間の相関はわずか0.47（p < 0.001）にとどまり、引用指標自体に一貫性の欠如が見られる可能性を示唆している。
• 使用ベースの指標は、引用ベースの指標に比べて、内部的一致性と収束性がより高いことが示された。これは、使用ネットワークの密度が高く、構造が洗練されているためと考えられる。
• ジャーナル使用ネットワークは、データ密度、接続性、構造的複雑性において引用ネットワークを上回っており、多分野にまたがる科学のモデル化に有効であることが裏付けられた。
• PCAの結果、使用ベースの指標は互いにクラスタを形成し、従来のインパクトファクターとは異なるが意味のあるプレステージの概念を表す独立した次元を形成していることが示された。