[論文レビュー] The weakening relationship between the Impact Factor and papers' citations in the digital age

George A. Lozano, Vincent Larivière+1 more|arXiv (Cornell University)|May 19, 2012

scientometrics and bibliometrics research参考文献 17被引用数 4

ひとこと要約

本研究は、1902年から2009年までの間に、ジャーナルのインパクトファクター（IF）と個々の論文の被引用回数の相関が低下する傾向を分析し、1990年以降、デジタル化の進展に伴いその関係性が弱まったことを示している。オンラインアクセスへの移行により、論文がその学術的価値に基づいて引用されるようになり、ジャーナルの評判による影響が減少した。その結果、IFが個々の論文のインパクトを予測する力が低下した。特に、デジタルフォーマットを早期に採用した物理学分野において顕著である。

ABSTRACT

Historically, papers have been physically bound to the journal in which they were published but in the electronic age papers are available individually, no longer tied to their respective journals. Hence, papers now can be read and cited based on their own merits, independently of the journal's physical availability, reputation, or Impact Factor. We compare the strength of the relationship between journals' Impact Factors and the actual citations received by their respective papers from 1902 to 2009. Throughout most of the 20th century, papers' citation rates were increasingly linked to their respective journals' Impact Factors. However, since 1990, the advent of the digital age, the strength of the relation between Impact Factors and paper citations has been decreasing. This decrease began sooner in physics, a field that was quicker to make the transition into the electronic domain. Furthermore, since 1990, the proportion of highly cited papers coming from highly cited journals has been decreasing, and accordingly, the proportion of highly cited papers not coming from highly cited journals has also been increasing. Should this pattern continue, it might bring an end to the use of the Impact Factor as a way to evaluate the quality of journals, papers and researchers.

研究の動機と目的

• ジャーナルのインパクトファクタと個々の論文の被引用回数の関係が、時間経過とともにどのように変化したかを調査すること。
• デジタル出版の影響が、ジャーナルの評判が被引用パターンに与える影響に及ぼす影響を評価すること。
• 論文が元のジャーナル以外の出処からも広く利用可能になるようになるにつれ、インパクトファクタの予測力が弱まったかどうかを特定すること。
• 物理学を含む分野ごとのこの傾向の差異を検討すること。
• IFと論文被引用回数の相関が継続的に低下する場合、IFが将来的に研究評価の指標として使われなくなる可能性を評価すること。

提案手法

• 1902年から2009年までの複数の科学分野にわたる被引用データを分析すること。
• 特定のジャーナルに掲載された個々の論文の被引用回数と、そのジャーナルのインパクトファクタとの相関を測定すること。
• 広くオンラインアクセスが可能になった1990年を境に、被引用パターンの傾向に変化が生じたかどうかを比較すること。
• 高被引用論文のうち、高被引用ジャーナルから出たものと、それ以外のジャーナルから出たものの割合を時間経過とともに追跡すること。
• 特に物理学分野において、IFと被引用回数の関係の強度に変化が生じたかどうかを統計的分析で検出すること。
• 縦断的データを用いて、ジャーナルレベルの指標が個々の論文のインパクトに与える影響の変化を評価すること。

実験結果

リサーチクエスチョン

• RQ1 1902年から2009年までの間に、ジャーナルのインパクトファクタと個々の論文の被引用回数の相関はどのように変化したか？
• RQ2 IFと論文被引用回数の関係性が弱まったのはいつからで、その要因は何だったか？
• RQ3 オンライン出版への移行が、被引用行動におけるジャーナル評判の役割にどのように影響するか？
• RQ4 分野ごとに、高被引用論文のうち非高被引用ジャーナルから出たものの割合はどの程度異なるか？
• RQ5 IFと論文被引用回数の相関が低下し続ける場合、IFが研究評価ツールとして陳腐化するおそれがあるか？

主な発見

• 1990年以降、ジャーナルのインパクトファクタと個々の論文の被引用回数の相関は継続的に弱まっており、デジタル時代においてはジャーナルの評判が論文のインパクトを予測する力が低下していることを示している。
• 物理学分野では、他の分野よりも早くデジタル出版に移行したため、IFと被引用回数の相関低下が早期に顕著に現れた。
• 1990年以降、高被引用論文のうち高被引用ジャーナルから出た割合は減少し、それ以外のジャーナルからの割合は増加した。
• この傾向は、論文がその内在的価値に基づいて引用されるようになっていることを示唆している。
• IFと被引用回数の関係性が弱まっていることは、今後もこの傾向が続く場合、インパクトファクタが個々の論文や研究者の質を表す代替指標としての役割を失う可能性を示している。
• 研究の質を評価するための主な指標としてのIFの継続的使用に疑問を呈する。特に、デジタルアクセスが容易な分野において顕著である。