[論文レビュー] S-index: Towards Better Metrics for Quantifying Research Impact

Neil J. Shah, Yang Song|arXiv (Cornell University)|Jul 13, 2015

scientometrics and bibliometrics research参考文献 27被引用数 9

ひとこと要約

本稿では、論文、著者、会議の異種混合被引用ネットワーク上で影響力伝播をモデル化することにより、研究のインパクトを定量化する新しい指標であるs-indexを提案する。従来のh-index や被引用回数といった指標に比べ、インパクトのある論文や急成長著者（リーディングスターチャイルド）を特定する能力に優れ、専門家による順位付けと強い相関を示し、優れた再現率を達成する。

ABSTRACT

The ongoing growth in the volume of scientific literature available today precludes researchers from efficiently discerning the relevant from irrelevant content. Researchers are constantly interested in impactful papers, authors and venues in their respective fields. Moreover, they are interested in the so-called recent "rising stars" of these contexts which may lead to attractive directions for future work, collaborations or impactful publication venues. In this work, we address the problem of quantifying research impact in each of these contexts, in order to better direct attention of researchers and streamline the processes of comparison, ranking and evaluation of contribution. Specifically, we begin by outlining intuitive underlying assumptions that impact quantification methods should obey and evaluate when current state-of-the-art methods fail to satisfy these properties. To this end, we introduce the s-index metric which quantifies research impact through influence propagation over a heterogeneous citation network. s-index is tailored from these intuitive assumptions and offers a number of desirable qualities including robustness, natural temporality and straightforward extensibility from the paper impact to broader author and venue impact contexts. We evaluate its effectiveness on the publicly available Microsoft Academic Search citation graph with over 119 million papers and 1 billion citation edges with 103 million and 21 thousand associated authors and venues respectively.

研究の動機と目的

• 被引用回数、h-index、ジャーナルインパクトファクターといった従来の研究インパクト指標が、科学的インパクトに関する人間の直感と一致しないことがしばしばあるという限界を是正すること。
• 整合的なインパクト指標が満たすべきべき基準（耐障害性、自然な時間的進行、拡張性など）を定義すること。
• 異種混合の論文・著者・会議の被引用グラフ上で影響力伝播を用いてインパクトを定量化する新しい指標s-indexを開発することにより、研究貢献の質と量の両方を捉えること。
• 大規模な被引用グラフ（119M件の論文、10億件の被引用）上でs-indexを評価し、インパクトのある論文、著者、会議を順位付けする有効性を示すこと。
• MicrosoftのCOSMOSのような本番システムで実装可能な高速で線形時間のアルゴリズムを設計し、スケーラビリティと実用的導入を確保すること。

提案手法

• s-indexは、長さが最大mのランダムウォークを被引用グラフ上でシミュレートすることで論文のインパクトを計算する。影響力は各ステップごとに指数関数的に減衰し、減衰係数d=0.5を用いる。
• 影響力は、論文の直接的および間接的な後続者に伝播され、各ステップで影響力の重みが0.5倍ずつ減少する。これは、遠く離れた被引用が現在のインパクトに与える寄与が小さいという考えをモデル化する。
• 著者および会議のインパクトは、関連するすべての論文のs-index値を集約することで拡張され、3つのエンティティすべてに一貫したインパクト測定が可能になる。
• 論文に対してはO(m|Epp||P|)の時間計算量を達成する高速でスケーラブルなアルゴリズムを実装。著者および会議に対しても同様の計算量を達成する。
• アルゴリズムはMicrosoftのCOSMOSおよびMS-SQLシステムに実装され、Microsoft Academic Searchグラフ全体を処理する際、1分未満の実行時間で実現された。
• パラメータ選定は実証的分析に基づく：d=0.5は影響力の減衰を適切に制御し、m=4は計算コストを最小限に抑えつつ専門家順位付けとの相関をほぼ最適化する。

実験結果

リサーチクエスチョン

• RQ1 被引用回数、h-index、ジャーナルインパクトファクターといった現在のインパクト指標は、科学的インパクトに関する直感的認識とどのように一致しないのか？
• RQ2 実用的・解釈可能な信頼性の高い指標を実現するため、整合的な研究インパクト指標が満たすべき核心的特性とは何か？
• RQ3 異種混合被引用ネットワーク上での影響力伝播は、従来の指標に比べ、より頑健で時間的進行に自然な研究インパクト測定を可能にするか？
• RQ4 s-indexは、ベースライン指標と比較して、インパクトのある論文、急成長著者（リーディングスターチャイルド）の検出においてどの程度向上を達成するか？
• RQ5 s-indexの計算は大規模な被引用グラフ上でどの程度スケーラブルであり、実世界の本番システムに導入可能か？

主な発見

• s-indexは、わずかm=4ステップのランダムウォークで、専門家順位付けとのスピアマン順位相関係数が≥0.999に達し、人間の直感と強い整合性を示す。
• 1万件の論文を対象としたベンチマークで、s-indexはh-indexに比べ11%高い再現率を示し、高インパクト論文の検出能力が優れていることを実証した。
• s-indexは、ソーシャルネットワーク解析、応用データマイニング、バイオインフォマティクスといった現代的で急成長中の分野を、インパクトがあると正しく特定している一方で、現在の文脈ではあまり関連性のない古くからの基盤的論文は相対的に低く評価している。
• s-indexとs_r-indexの順位付けにおいて、トップ会議はほとんど変化していない。これは、確立された評判が維持されていることを示唆しているが、s_r-indexは著者および論文インパクトにおける新興トレンドをより良く捉えている。
• s-indexの計算は、被引用数およびウォーク長に対して線形にスケーリングされ、Microsoftで本番環境に導入されており、119M件の論文を含むグラフを数分で処理可能である。
• 減衰係数d=0.5およびウォーク長m=4は、実証的に最適であり、影響力の減衰と関連性のバランスを取るとともに、計算コストを最小限に抑える。