[論文レビュー] Will This Paper Increase Your h-index? Scientific Impact Prediction

Yuxiao Dong, R. A. Johnson+1 more|arXiv (Cornell University)|Dec 15, 2014

scientometrics and bibliometrics research参考文献 26被引用数 11

ひとこと要約

本論文は、実用的な問い「この論文は私のhインデックスを上げるだろうか？」に答える、新しい科学的インパクト予測モデルを提案する。ArnetMinerから得た200万件の論文データセットを用い、著者の専門分野と出版学会（出版機関）が最も重要な要因であると特定し、5年以内にhインデックスが上昇する確率を87.5％以上に達成した。このモデルは、被引用回数の予測からhインデックスへの貢献への焦点を移し、学術的インパクトを最大化しようとする研究者に実行可能なインサイトを提供する。

ABSTRACT

Scientific impact plays a central role in the evaluation of the output of scholars, departments, and institutions. A widely used measure of scientific impact is citations, with a growing body of literature focused on predicting the number of citations obtained by any given publication. The effectiveness of such predictions, however, is fundamentally limited by the power-law distribution of citations, whereby publications with few citations are extremely common and publications with many citations are relatively rare. Given this limitation, in this work we instead address a related question asked by many academic researchers in the course of writing a paper, namely: "Will this paper increase my h-index?" Using a real academic dataset with over 1.7 million authors, 2 million papers, and 8 million citation relationships from the premier online academic service ArnetMiner, we formalize a novel scientific impact prediction problem to examine several factors that can drive a paper to increase the primary author's h-index. We find that the researcher's authority on the publication topic and the venue in which the paper is published are crucial factors to the increase of the primary author's h-index, while the topic popularity and the co-authors' h-indices are of surprisingly little relevance. By leveraging relevant factors, we find a greater than 87.5% potential predictability for whether a paper will contribute to an author's h-index within five years. As a further experiment, we generate a self-prediction for this paper, estimating that there is a 76% probability that it will contribute to the h-index of the co-author with the highest current h-index in five years. We conclude that our findings on the quantification of scientific impact can help researchers to expand their influence and more effectively leverage their position of "standing on the shoulders of giants."

研究の動機と目的

• 研究者が直面する実用的な問いに答えること：「この論文は私のhインデックスを上げるだろうか？」
• 長尾分布に起因する偏りが著しい被引用回数予測の限界を克服すること
• 論文が主著者のhインデックスに貢献する要因を特定すること
• hインデックスを動的閾値として中心とする、新しい科学的インパクト予測問題を形式化すること
• 研究者が学術的インパクトを戦略的に高められるよう、実行可能なインサイトを提供すること

提案手法

• hインデックス貢献予測を、論文が主著者のhインデックスを5年以内に上昇させるかどうかを判別する二値分類タスクとして形式化する
• ArnetMinerから得た大規模な学術データセット（170万の著者、200万件の論文、800万件の被引用）を用いてモデルの学習と評価を行う
• 6つの要因グループ（著者の専門分野、出版学会、トピックの人気度、共同著者の影響力、出版年、被引用履歴）を統合する
• 歴史的被引用パターンを用いて、論文のトピックにおける著者の権威を定量化する特徴工学的手法を適用する
• XGBoostやロジスティック回帰などの機械学習モデルを用いて、エンジニアリングされた特徴に基づきhインデックス上昇を予測する
• 5年予測ウィンドウを用いてモデルのパフォーマンスを検証し、AUCと正確性の指標で評価する

実験結果

リサーチクエスチョン

• RQ1 論文が主著者のhインデックスを上昇させるかどうかを最も強く予測する要因は何か？
• RQ2 著者の専門分野と出版学会の予測力は、トピックの人気度や共同著者の影響力と比べてどの程度優れているか？
• RQ3 被引用回数の分布が歪んでいるにもかかわらず、hインデックス貢献はどの程度高い正確性で予測可能か？
• RQ4 この論文自体に対する自己予測（self-prediction）では、モデルはどの程度の性能を示すか？
• RQ5 予測パターンは、異なる科学分野において一貫しているか？

主な発見

• 論文のトピックにおける著者の専門分野が、論文が主著者のhインデックスを上昇させるかどうかを決定づける最も影響力のある要因である。
• 論文が出版される学会（出版機関）が2番目に重要な要因であり、トピックの人気度や共同著者の影響力よりも顕著に優れている。
• トピックの人気度や共同著者のhインデックスは、論文が主著者のhインデックスに貢献する能力と、驚くほど相関が薄い。
• モデルは、論文が主著者のhインデックスに貢献するかどうかを、5年以内に87.5％を超える正確性で予測できる。
• この論文の自己予測では、共著者の中で現在hインデックスが最も高い人物が5年以内にhインデックスを上昇させる確率が76％であると推定された。
• 研究結果から、著者の専門分野と出版学会の選択に基づく戦略的出版意思決定が、学術的インパクトを顕著に高められると示唆される。