[論文レビュー] Measuring science: irresistible temptations, easy shortcuts and dangerous consequences

Giovanni Abramo, Ciriaco Andrea D’Angelo|arXiv (Cornell University)|Dec 21, 2018

Evolution and Genetic DynamicsBiochemistry, Genetics and Molecular Biology被引用数 21

ひとこと要約

この論文は、国際的な研究ベンチマークにおいて、全出版物数および被引用回数の誤用を批判し、科学的生育度の差異に起因する固有の違いにより、異なる分野間の比較が歪められることを主張している。著者は、分野の多様性を考慮しないと、誤った順位付けが生じ、政策立案や資金配分に悪影響を及ぼす可能性があると指摘している。したがって、有害な政策や資金配分を避けるために、より洗練された分野別評価手法の導入が不可欠であると提言している。

ABSTRACT

In benchmarking international research, although publication and citation analyses should not be used to compare different disciplines, scientometrists frequently fail to resist the temptation to present rankings based on total publications and citations. Such measures are affected by significant distortions, due to the uneven fertility across scientific disciplines and the dishomogeneity of scientific specialisation among nations and universities. In this paper, we provide an indication of the extent of the distortions when comparative bibliometric analyses fail to recognise the range of levels of scientific fertility, not only within a given major disciplinary area but also within the different scientific disciplines encompassed by the same area.

研究の動機と目的

• 多様な科学的分野にわたる研究パフォーマンスの代理指標として、全出版物数および被引用回数を使用することの危険性を明らかにすること。
• 科学計測学者が、既知の限界を持つにもかかわらず、単純で容易に入手可能な指標を使用する誘惑を強調すること。
• 研究機関や分野ごとの科学的生育度の不均一さが、比較的文献計測分析に歪みをもたらす仕組みを示すこと。
• 研究活動の出力や被引用習慣における固有の差異を考慮した、分野に配慮した評価フレームワークの導入を提唱すること。
• 研究資金配分や機関ランク付けシステムにおいて、誤った指標に依存することによる政策的影響を警告すること。

提案手法

• 科学的分野や主要研究分野における出版および被引用パターンの構造的格差を分析すること。
• 国際的な研究成果の実証データを用いて、医学や自然科学分野のような高生育度分野が、人文学のような低生育度分野に比べて優位に立つことの実態を示すこと。
• 全出版物数および被引用回数に基づく機関および国レベルのランク付けと、分野正規化された指標との比較を行うこと。
• 生育度の差を補正しないままに分野横断的ベンチマークを実施する際の方法論的欠陥を指摘すること。
• 文献計測の誤用の結果を説明するため、現実の研究評価実務からの事例を提示すること。
• 公平な比較を実現するため、文献計測指標における分野別正規化への移行を提言すること。

実験結果

リサーチクエスチョン

• RQ1 既知の分野バイアスがあるにもかかわらず、なぜ科学計測的実践が全出版物数および被引用回数の使用を続けているのか。
• RQ2 集計指標を用いた際、分野間の科学的生育度の差が国際的研究所ランク付けにどの程度歪みをもたらすのか。
• RQ3 分野間で不均一な被引用習慣が、分野横断的パフォーマンス比較の妥当性にどのように影響を及ぼすのか。
• RQ4 単純化された文献計測指標に依存することによる政策的および機関的結果は何か。
• RQ5 集計指標が引き起こす歪みを緩和するための代替評価フレームワークは何か。

主な発見

• 科学的生育度の差異が顕著なため、全出版物数および被引用回数は、分野間比較において極めて誤解を招くものである。
• 医学や自然科学分野は、人文学分野に比べて著しく高い出版および被引用頻度を示しており、これにより順位付けに系統的なバイアスが生じる。
• 集計指標を用いることで、高生育度分野に強い機関や国が、実際の研究品質や影響力とは無関係に優位に立つようになる。
• 分野差を正規化しないと、機関ランク付けが歪み、研究資金の不適切な配分が生じる。
• 行政上の利便性や方法論的厳密性の欠如が要因であるにもかかわらず、簡単で標準化された指標を使用する誘惑は根強く残っている。
• 公平で正確な研究評価を実現するためには、より洗練された分野に配慮した文献計測手法が不可欠である。