[論文レビュー] Quantifying Success in Science: An Overview

Xiaomei Bai, Hanxiao Pan+4 more|arXiv (Cornell University)|Aug 10, 2020

scientometrics and bibliometrics research参考文献 110被引用数 4

ひとこと要約

本稿は、学術的インパクト評価に関する包括的なレビューを提供し、論文、研究者、ジャーナルのインパクトのための指標を分類・分析している。主な課題として、共同研究のインパクトパターン、暗黙の成功要因、動的ネットワークモデリング、引用インフレーションを特定し、統一基準、異種ネットワーク、動的埋め込み技術を通じて、科学的評価システムの改善を提案する。

ABSTRACT

Quantifying success in science plays a key role in guiding funding allocations, recruitment decisions, and rewards. Recently, a significant amount of progresses have been made towards quantifying success in science. This lack of detailed analysis and summary continues a practical issue. The literature reports the factors influencing scholarly impact and evaluation methods and indices aimed at overcoming this crucial weakness. We focus on categorizing and reviewing the current development on evaluation indices of scholarly impact, including paper impact, scholar impact, and journal impact. Besides, we summarize the issues of existing evaluation methods and indices, investigate the open issues and challenges, and provide possible solutions, including the pattern of collaboration impact, unified evaluation standards, implicit success factor mining, dynamic academic network embedding, and scholarly impact inflation. This paper should help the researchers obtaining a broader understanding of quantifying success in science, and identifying some potential research directions.

研究の動機と目的

• 論文、研究者、ジャーナルの各分野における学術的インパクト評価インデックスを体系的に分類・レビューすること。
• 現在の評価手法における深刻な制限要因、特に学術的年数へのバイアスと引用インフレーションを特定すること。
• 共同研究のインパクト、暗黙の成功要因、動的学術ネットワークといった、新たな課題を明らかにすること。
• 統一された評価基準、暗黙要因の抽出、動的ネットワーク埋め込み技術といった解決策を提案し、より正確なインパクト評価を実現すること。
• 特に多様分野および変化し続ける学術的文脈において、学術的インパクトの定量化に関する未解決の問題を特定することで、今後の研究を導くこと。

提案手法

• 文献情報学的および科学情報学的手法を用いて、学術的インパクト評価を論文インパクト、研究者インパクト、ジャーナルインパクトの3分野に分類する。
• カウントベースの手法（例：引用回数、hインデックス、JIF）とネットワークベースのアルゴリズム（例：PageRank、HITS）を用いたインパクト評価の定量的分析をレビューする。
• 時間経過に伴う学術的関係の変化をモデル化するため、動的学術ネットワーク埋め込みを提案し、ノードの重要性の表現を向上させる。
• 引用インフレーションの緩和とインパクト指標の耐性強化を目的として、高次学術ネットワークの概念を導入する。
• 異なるインパクト評価手法のベンチマークと比較を可能とするために、統一された評価基準と事実データセットの構築を提言する。
• 従来の指標の限界を克服するため、共同研究のインパクトを統合的かつ定量的に評価できる異種学術ネットワークを活用する。

実験結果

リサーチクエスチョン

• RQ1 学術的ネットワークにおける共同研究のインパクトは、どのように体系的に測定可能であり、時間経過でどのようなパターンが現れるか？
• RQ2 学術的年数や分野を超えて、学術的インパクトに寄与する暗黙の成功要因（例：メンターシップ、学習習慣）は何か、そしてそれらはどのように抽出可能か？
• RQ3 引用や共同著者関係のパターンの変化を的確に反映するため、動的学術ネットワークはどのように効果的にモデリング可能か？
• RQ4 学術的インパクトのインフレーションは、研究出力の時系列的比較をどの程度歪めるか？
• RQ5 異なるインパクト評価手法を公平に比較するためには、どのような統一基準と評価フレームワークが必要か？

主な発見

• hインデックスやJIFといった既存の評価インデックスは、学術的年数へのバイアスと引用操作への感受性のため、限界を有する。
• PageRank や HITS といったネットワークベースの手法は、引用・共同著者ネットワーク内の構造的関係をモデル化することで、インパクト評価の質を向上させる。
• 論文発表数の指数関数的増加に起因する引用インフレーションは、時間経過とともに引用ベースの指標の信頼性を損なう。
• 動的学術ネットワーク埋め込みは、学術的影響力の時間的変化を捉えるために不可欠であるが、現状では十分に発展していない。
• メンターシップや学習習慣といった暗黙の成功要因は、学術的成功に顕著な影響を及えるが、その影響はまだ十分に解明されていない。
• 統一された評価基準と高次ネットワークモデルは、インパクト評価における一貫性の欠如と公平性の欠如を是正する上で極めて重要である。