[論文レビュー] Which cities produce excellent papers worldwide more than can be expected? A new mapping approach--using Google Maps--based on statistical significance testing

Lutz Bornmann, Loet Leydesdorff|arXiv (Cornell University)|Mar 16, 2011

Data-Driven Disease Surveillance参考文献 23被引用数 24

ひとこと要約

本論文は、Web of Scienceデータを用いた統計的有意性の検定を適用することで、物理学、化学、心理学などの分野において、その都市全体の出版出力に基づいて予想されるよりも著しく優れた（優れた）論文を多く生み出している都市を同定する、統計的に厳密なマッピング手法を紹介する。この手法により、単なる高出力拠点を越えて、人口一人あたりの研究優れた水準に著しく優れた『真の宝物』（true jewels）とされる都市を特定することができる。

ABSTRACT

The methods presented in this paper allow for a statistical analysis revealing centers of excellence around the world using programs that are freely available. Based on Web of Science data, field-specific excellence can be identified in cities where highly-cited papers were published significantly. Compared to the mapping approaches published hitherto, our approach is more analytically oriented by allowing the assessment of an observed number of excellent papers for a city (in the sample) against the expected number. Using this test, the approach cannot only identify the top performers in output but the "true jewels." These are cities locating authors who publish significantly more top cited papers than can be expected. As the examples in this paper show for physics, chemistry, and psychology, these cities do not necessarily have a high output of excellent papers.

研究の動機と目的

• 全体の出版出力に基づいて予想されるよりも著しく高い割合で優れた研究論文を生み出している都市を同定するための手法を開発すること。
• 単なる出版出力の指標にとどまらず、真の研究優れた水準に達している拠点を同定すること。
• 既存の研究評価におけるマッピング手法の代替手段として、統計的に根拠のある、分析志向のアプローチを提供すること。
• この手法を物理学、化学、心理学の実世界のデータに適用し、その実用性を示すこと。
• 人口一人あたりの論文の質が著しく高い都市、すなわち『真の宝物』（true jewels）を浮き彫りにすること。

提案手法

• Web of Scienceデータを用いて、特定の学術分野における高被引用論文を同定する。
• その分野における都市の総出版出力に基づき、各都市の優れた論文の期待値を計算する。
• 観測値と期待値の間の差を統計的有意性の検定（例：ポアソン分布または二項検定）を用いて比較する。
• 観測された優れた論文の数が期待値を著しく上回っている都市（p < 0.05）を同定する。
• インタラクティブなGoogleマップを用いて、統計的に有意な研究優れた水準の地理的分布を可視化する。
• 分野固有の被引用数のしきい値を適用して『優れた』論文を定義することで、文脈に即した評価を保証する。

実験結果

リサーチクエスチョン

• RQ1 どの都市が、その全体の出力に比して著しく高い数の優れた論文（高被引用論文）を生み出しているか？
• RQ2 高出力の研究拠点と、人口一人あたりの研究優れた水準に著しく優れた都市とをどのように区別できるか？
• RQ3 高い出版量を持つ都市が、同時に著しく優れた被引用論文を多く生み出している程度はどの程度か？
• RQ4 統計的有意性の検定を用いることで、世界の研究出力における『真の宝物』の同定を改善できるか？
• RQ5 物理学、化学、心理学などの分野ごとに、結果にどのような差が現れるか？

主な発見

• この手法は、全体の出力がやや低い都市であっても、期待値を著しく上回る割合で優れた論文を生み出している都市を的確に同定できた。
• ケンブリッジ（英国）、チューリッヒ、ストックホルムなどの都市が、特定の分野において『真の宝物』として浮き彫りになり、出版1件あたりの研究品質が著しく高いことが示された。
• 一部の高出力都市では有意性が得られず、その優れた水準が量に起因する可能性があることが示唆された。
• このアプローチにより、優れた水準を的確に同定するためには分野固有の被引用数のしきい値が不可欠であることが明らかになった。
• 統計的有意性の検定を用いることで、大規模な出版量を持つ都市における優れた水準の過剰評価を防ぐことができた。
• Googleマップによる可視化は、世界中における統計的に有意な研究優れた水準の地理的分布を効果的に伝えることができた。