[論文レビュー] Superiority of the $h$-index over the Impact Factor for Physics

Casey W. Miller|ArXiv.org|Aug 17, 2006

Big Data Technologies and ApplicationsDecision Sciences被引用数 17

ひとこと要約

本稿では、物理学の学術雑誌を評価する指標として、hインデックスがジャーナル・インパクト・ファクター（IF）を上回ることを主張している。これは、査読済み研究の質をよりよく反映し、多分野的およびレビュー中心の雑誌によるバイアスを低減するからである。Nature や Science といった多分野的雑誌に掲載された物理学論文の引用データを用いた分析により、Physical Review Letters が hインデックスではこれらのハイエンド雑誌を上回ることが示され、物理学者が認識する権威性と整合的であることが明らかになった。

ABSTRACT

Focusing specifically on physics periodicals, I show that the journal Impact Factor is not correlated with Hirsch's $h$-index. This implies that the Impact Factor is not a good measure of research quality or influence because the $h$-index is a reflection of peer review, and thus a strong indicator of research quality. The impact gap between multidisciplinary journals and physics-only journals is significantly reduced when $h$ is used instead of the Impact Factor. Additionally, the impact of journals specializing in review articles is inherently deflated using $h$ because of the limited number of annual publications in such periodicals. Finally, a reordering of the top ranking journals occurs with $h$ when only the physics articles of multidisciplinary journals are considered, falling more in line with the average physicist's interpretation of a journal's prestige.

研究の動機と目的

• 物理学における研究品質の指標としてのジャーナル・インパクト・ファクター（IF）の妥当性に疑問を呈すること。
• hインデックスが物理学におけるジャーナルの影響力について、査読プロセスと整合性のとれたより正確な指標であるかどうかを評価すること。
• hインデックスと新しい変種である ℏインデックスを用いて、物理学専用雑誌と多分野的雑誌の影響を定量化・比較すること。
• Nature や Science といった多分野的雑誌から物理学固有の内容を抽出することで、ジャーナル順位の不一致を是正すること。
• hインデックスが Physical Review Letters のような、歴史的に最も権威のある物理学雑誌の真の科学的影響をよりよく反映していることを示すこと。

提案手法

• hインデックスは、論文を引用回数で順位付けし、上位 h 範囲の論文がそれぞれ少なくとも h 回の引用を獲得している最大の h 値として計算された。
• ℏインデックスは、hインデックスの幾何的変種として導入され、ℏ = √(α/2) で定義され、高引用・中程度引用の論文の影響をよりよく捉えることを目的としている。ここで α は総引用回数を表す。
• 多分野的雑誌の物理学論文を特定するために、テキストベースのフィルタリング手法が用いられた。具体的には、文献の参照リストをスキャンし、'phys rev' や 'j phys b' などの物理学固有の参照文字列を検出することで、物理学関連でない参照を除外した。
• フィルタは、1論文あたりの物理学関連参照の割合を調整することでチューニングされ、各しきい値を満たす論文サブセットについて h および ℏ インデックスが計算された。
• 20–50% の物理学関連参照割合のデータポイントに対して線形フィットを適用し、Nature や Science のような雑誌における純粋な物理学コンテンツの h および ℏ インデックスを外挿推定した。
• Physical Review Letters、Nature、Science などのジャーナルの結果として得られた h および ℏ インデックスを比較することで、相対的な権威性と専門家の意見との整合性を評価した。

実験結果

リサーチクエスチョン

• RQ1 インパクト・ファクターが公開データが少なく、操作に弱いという点を考えると、物理学における研究品質の指標として信頼できるのか？
• RQ2 特に査読済み品質と科学的影響を反映する観点から、hインデックスはインパクト・ファクターに比べて物理学雑誌の順位付けにおいてどのように優れているのか？
• RQ3 Nature や Science のような多分野的雑誌が、非物理学的コンテンツやレビュー記事のおかげで、インパクト・ファクター順位で過大評価されている程度はどの程度か？
• RQ4 hインデックスと ℏインデックスは、多分野的雑誌から物理学固有のコンテンツを分離することで、物理学雑誌の順位付けをより正確かつ一貫性を持って行えるか？
• RQ5 専門家のジャーナル権威性認識、特に Physical Review Letters の歴史的立場と照らして、hインデックスはよりよく一致するのか？

主な発見

• 物理学におけるインパクト・ファクターと hインデックスの間には相関がなく、IF が真の研究品質や影響を反映していないことを示している。
• Physical Review Letters の hインデックス（h = 263）は、外挿推定による Nature の物理学サブセット（h = 285）を上回っており、物理学分野における優位性が裏付けられている。
• Physical Review Letters の ℏインデックス（ℏ = 869）は、Nature の物理学サブセット（ℏ = 499）を著しく上回っており、さらにその高い科学的影響を裏付けている。
• hインデックスは、発行数が少なく引用率が高いレビュー雑誌（例：Reviews of Modern Physics）の影響が誇張されるのを抑制しており、IF が高くなるのを防いでいる。
• 分析の結果、Nature や Science のような多分野的雑誌は、非物理学的コンテンツのおかげでインパクト・ファクターが著しく高くなり、物理学分野における影響力が歪められていることが明らかになった。
• Nature の物理学サブセットの hインデックスは、100% の物理学コンテンツに外挿した結果、h_phys = 285、ℏ_phys = 499 となり、物理学専用雑誌が IF ランキングが示すよりも影響力が大きいことが示された。