[論文レビュー] Altmetrics (Chapter from Beyond Bibliometrics: Harnessing Multidimensional Indicators of Scholarly Impact)

Jason Priem|arXiv (Cornell University)|Jul 6, 2015

scientometrics and bibliometrics research参考文献 50被引用数 14

ひとこと要約

本稿は、Twitter や Mendeley、ブログなどのプラットフォームを通じたオンラインでの関与を追跡することで、従来の引用数にとどまらない、学術的インパクトを多面的かつ包括的に測定する手法としてアラトメトリクスを導入する。アラトメトリクスは、特に若手研究者や異分野研究において、早期かつ広範なインパクトを捉えることができることを示している。一方で、その応用および解釈における限界や今後の研究の必要性も明らかにしている。

ABSTRACT

This chapter discusses altmetrics (short for "alternative metrics"), an approach to uncovering previously-invisible traces of scholarly impact by observing activity in online tools and systems. I argue that citations, while useful, miss many important kinds of impacts, and that the increasing scholarly use of online tools like Mendeley, Twitter, and blogs may allow us to measure these hidden impacts. Next, I define altmetrics and discuss research on altmetric sources--both research mapping the growth of these sources, and scientometric research measuring activity on them. Following a discussion of the potential uses of altmetrics, I consider the limitations of altmetrics and recommend areas ripe for future research.

研究の動機と目的

• 従来の文献計測学が学術的インパクトの全容を捉えきれていないという限界を是正すること。
• ソーシャルメディアやリファレンスマネージャーでの言及といった、代替的なオンライン指標としての学術的インパクトを特定・分析すること。
• アラトメトリクスが若手研究者のインパクト測定や異分野的影響の評価に果たす可能性を評価すること。
• 科学的評価の文脈において、アラトメトリクスの出典の信頼性と妥当性を評価すること。
• アラトメトリクス手法の改善および研究評価への統合を促進するための今後の研究方向性を提示すること。

提案手法

• 本稿は、Mendeley や Twitter、ブログなどのプラットフォームからの学術的関与のデジタル痕跡としてアラトメトリクスを定義する。
• 学術分野ごとにアラトメトリクス出典の成長と採用に関する既存研究をレビューする。
• アラトメトリクスプラットフォーム上の活動レベルを測定する科学的計測研究を分析し、従来のインパクト指標との相関関係を評価する。
• 多様なオンラインソースからの活動データを統合・正規化し、複合インパクトスコアに変換するアプローチを採用する。
• タイムリーさ、細分化の度合い、さまざまな研究出力に対して感受性を示すかどうかを検討することで、アラトメトリクスの研究評価への実用可能性を評価する。
• アラトメトリクスの限界、たとえば潜在的なバイアスや標準化の欠如といった点についても、批判的考察を含む。

実験結果

リサーチクエスチョン

• RQ1 アラトメトリクスは、従来の引用ベースの指標と比べて、学術的インパクトをどのように補完または拡張するか？
• RQ2 どのような種類の学術的出力や研究コミュニティが、最も高いアラトメトリクス参加を示すか？
• RQ3 アラトメトリクススコアは、引用数やジャーナルインパクトファクターといった従来のインパクト指標とどの程度相関しているか？
• RQ4 研究評価にアラトメトリクスを用いる際の、方法論的および解釈上の課題は何か？
• RQ5 アラトメトリクスに基づくインパクト評価の信頼性と公平性を向上させるために、今後どのような研究が必要か？

主な発見

• アラトメトリクスは、データセット やソフトウェアといった非伝統的出力においても、引用よりも早期かつ広範に学術的インパクトを捉えることができる。
• Mendeley や Twitter での関与は、特にオンライン存在感が強い分野において、広範な普及と初期の影響と相関している。
• アラトメトリクススコアは分野によって顕著に変動し、生命科学や社会科学分野で活動が活発である一方、人文学分野では低調である。
• 本稿は、著名研究者の過剰代表やプラットフォーム固有のユーザー層のバイアスといった、アラトメトリクスにおける潜在的なバイアスを特定した。
• アラトメトリクスはリアルタイムの注目や一般の関与を反映している証拠が強くあるが、長期的インパクトに対する予測力については不確実性が残っている。
• アラトメトリクスに基づく評価の信頼性と公平性を高めるために、標準化された手法と透明性のあるデータソースの導入が求められる。