[논문 리뷰] Which cities produce excellent papers worldwide more than can be expected? A new mapping approach--using Google Maps--based on statistical significance testing

Lutz Bornmann, Loet Leydesdorff|arXiv (Cornell University)|2011. 03. 16.

Data-Driven Disease Surveillance참고 문헌 23인용 수 24

한 줄 요약

이 논문은 웹 오브 사이언스 데이터를 기반으로 통계적으로 엄밀한 맵핑 기법을 사용하여, 전체 출판 규모를 고려할 때 예상보다 훨씬 더 많은 인용을 받는(탁월한) 논문을 생산하는 도시를 특정한다. 구글 맵을 활용해 통계적 유의성 검정을 적용함으로써, 물리학, 화학, 심리학 등의 분야에서 인구당 연구 우수성이 뛰어난 '진정한 보석'(true jewels) 도시를 식별한다. 이는 단순히 출판량이 많은 중심지가 아니라 진정한 연구 우수성을 지닌 도시를 가리기 위한 것이다.

ABSTRACT

The methods presented in this paper allow for a statistical analysis revealing centers of excellence around the world using programs that are freely available. Based on Web of Science data, field-specific excellence can be identified in cities where highly-cited papers were published significantly. Compared to the mapping approaches published hitherto, our approach is more analytically oriented by allowing the assessment of an observed number of excellent papers for a city (in the sample) against the expected number. Using this test, the approach cannot only identify the top performers in output but the "true jewels." These are cities locating authors who publish significantly more top cited papers than can be expected. As the examples in this paper show for physics, chemistry, and psychology, these cities do not necessarily have a high output of excellent papers.

연구 동기 및 목표

• 전체 출판 규모를 고려할 때 예상보다 유의미하게 높은 비율로 탁월한 논문을 생산하는 도시를 식별하는 방법을 개발한다.
• 단순한 출판량 지표를 넘어서 진정한 연구 우수성 중심지를 특정한다.
• 기존의 연구 평가 맵핑 기법에 대한 통계적으로 타당하고 분석 중심의 대안을 제공한다.
• 이 방법을 물리학, 화학, 심리학 분야의 실제 데이터에 적용하여 그 유용성을 입증한다.
• 인구당으로 볼 때 지속적으로 높은 인용을 받는 논문을 생산하는 '진정한 보석' 도시를 부각한다.

제안 방법

• 특정 학술 분야에서 인용 수가 높은 논문을 식별하기 위해 웹 오브 사이언스 데이터를 사용한다.
• 각 도시의 해당 분야에서의 총 출판 규모를 바탕으로 예상되는 탁월한 논문 수를 계산한다.
• 관측된 탁월한 논문 수와 예상 수를 비교하기 위해 통계적 유의성 검정(예: 포아송 또는 이항 검정)을 적용한다.
• 관측된 탁월한 논문 수가 예상보다 유의미하게 높은(유의수준 p < 0.05) 도시를 식별한다.
• 상호작용 가능한 구글 맵을 활용해 통계적으로 유의미한 연구 우수성의 지리적 분포를 시각화한다.
• 분야별 인용 기준을 적용하여 '탁월한' 논문를 정의함으로써 맥락에 민감한 평가를 보장한다.

실험 결과

연구 질문

• RQ1 전체 출판 규모를 고려할 때 예상보다 통계적으로 유의미하게 많은 탁월한 논문(높은 인용 수)을 생산하는 도시는 어디인가?
• RQ2 높은 출판량 중심지와 진정한 인구당 연구 우수성을 지닌 도시를 어떻게 구분할 수 있는가?
• RQ3 출판량이 많은 도시일수록 높은 인용 수를 받는 논문을 얼마나 더 많이 생산하는가?
• RQ4 통계적 유의성 검정은 글로벌 연구 성과에서 '진정한 보석'을 식별하는 데 어떤 개선을 이끌 수 있는가?
• RQ5 물리학, 화학, 심리학 등의 분야 간 결과는 어떻게 다를까?

주요 결과

• 이 방법은 전체 출판 규모가 중간 수준이더라도 예상보다 훨씬 더 많은 탁월한 논문을 생산하는 도시를 성공적으로 식별한다.
• 캠브리지(영국), 취리히, 스톡홀름과 같은 도시는 특정 분야에서 '진정한 보석'으로 나타나, 인용 수 기준으로 높은 연구 품질을 지닌 것으로 나타났다.
• 일부 높은 출판량을 자랑하는 도시들은 통계적 유의성에 도달하지 못했으며, 이는 그들의 성과가 양적 규모에 의해 과대평가되었을 가능성을 시사한다.
• 이 방법은 분야별 인용 기준이 탁월성 정의에 필수적임을 드러냈다.
• 통계적 유의성 검정을 활용함으로써 대규모 출판량을 가진 도시에서의 탁월성 과대평가를 방지할 수 있었다.
• 구글 맵을 통한 시각화는 글로벌 범위에서 통계적으로 유의미한 연구 우수성의 지리적 분포를 효과적으로 전달했다.