[論文レビュー] Measures and Mismeasures of Scientific Quality

Sune Lehmann, A.D. Jackson+1 more|ArXiv.org|Dec 24, 2005

scientometrics and bibliometrics research被引用数 38

ひとこと要約

本稿は、科学的質の評価に用いられるキャシオンベースの指標の信頼性を評価するためのベイジアン統計枠組みを提案する。論文数/年およびヒルシュのhインデックスは、精度と信頼性に欠けるが、平均、中央値、最大キャシオン数/論文は、50本の論文程度でさえも、著者質の強固で定量的な推定を可能にし、科学的インパクトの正確で統計的に妥当な評価を可能にする。

ABSTRACT

We present a general Bayesian method for quantifying the statistical reliability of one-dimensional measures of scientific quality based on citation data. Two quality measures used in practice -- ``papers per year'' and ``Hirsch's $h$'' -- are shown to lack the accuracy and precision necessary to be useful. The mean, median and maximum number of citations are on the other hand reliable and permit accurate predictions of future author performance on the basis of as few as 50 publications.

研究の動機と目的

• キャシオンベースの科学的質の指標の信頼性を統計的に厳密に評価するための手法を開発すること。
• 論文数/年やヒルシュのhインデックスといった一般的に用いられる指標が、著者質の正確で精密な推定をどの程度提供するかを特定すること。
• ベイジアン推論を用いて、さまざまなキャシオン指標の不確実性と識別力（区別能力）を定量化すること。
• これらの指標が、科学者を信頼性高くランク付けするか、学術的採用意思決定を支援するのに適しているかどうかを評価すること。
• 分野を越えて科学者を比較するための価値中立的で統計的に妥当なフレームワークを提供すること、主観的判断を最小限に抑えること。

提案手法

• 著者らは、SPIRESデータベースに収録された5,787名の高エネルギー物理学理論家に関するキャシオンデータにベイジアン統計を適用し、n ≤ 50の場合はγ ≈ 1.10、n > 50の場合はγ ≈ 2.70となるべきべき乗則分布を仮定する。
• 著者質の仮定的インデックスmをキャシオン記録に基づき定義し、質mの著者がn件のキャシオンを受ける条件付き確率P(n|m)をモデル化する。
• 著者をmに基づいて10等分のグループ（デシル）に分け、50本の論文分のキャシオンデータに基づき、これらのデシルへの正しく割り当てられる確率を評価する。
• Kullback–Leibler（KL）ダイバージェンスを用いて、指標間の識別性能を定量化し、各指標が著者質のレベルをどの程度うまく区別できるかを評価する。
• 6つの指標を比較する：平均、中央値、最大キャシオン数、論文数/年、ヒルシュのhインデックス（職業的年数で正規化済み）、およびアルファベット順のグループ化（対照群）。
• 同じ条件付き確率を同質なサブグループに適用することで、分野を越えた比較が可能となり、分野ごとのパーセンタイル比較が可能になる。

実験結果

リサーチクエスチョン

• RQ1 どのキャシオンベースの科学的質の指標が、個々の著者インパクトを評価するにあたり、統計的に信頼性があり精度が高いのか？
• RQ2 ベイジアン推論を用いて、さまざまな科学的質の指標の不確実性と識別力を定量化できるか？
• RQ3 論文数/年やヒルシュのhインデックスといった一般的に用いられる指標が、科学者間の有意義な差をどれほど正しく反映できないのか？
• RQ4 キャシオンベースの質の指標が、著者質の信頼性ある統計的有意な推定を提供するには、何本の論文が必要か？
• RQ5 同じ統計的フレームワークを、主観的判断を最小限に抑えて、異なる科学分野の科学者を比較するのにも適用可能か？

主な発見

• 平均、中央値、最大キャシオン数/論文は、科学的質の信頼できる指標であり、50本の論文程度でさえも、将来のパフォーマンスを正確に予測可能である。
• ヒルシュのhインデックスおよび論文数/年は、十分な精度と正確性に欠け、科学的質の主な指標としては不適切である。
• 90％信頼区間で外側のデシル（1–3および8–10）への正しく割り当てられるには、指標に応じて10～50本の論文で十分であるが、中央のデシル（4–7）は著者質の内発的ピークのため識別力が低い。
• KLダイバージェンス分析により、平均、中央値、最大キャシオン数指標が、論文数/年やhインデックスよりも顕著に高い識別力を持つことが確認された。
• 本研究では、約50本の論文分のキャシオンデータがあれば、著者質に関する意味のある統計的不確実性を付与し、信頼性のある推論が可能であることを示した。
• ベイジアンフレームワークにより、同質なサブグループ内でのパーセンタイルランク付けが可能となり、分野を越えた比較が可能で、主観的バイアスを最小限に抑えることができる。