[논문 리뷰] Which cities produce worldwide more excellent papers than can be expected? A new mapping approach--using Google Maps--based on statistical significance testing

Lutz Bornmann, Loet Leydesdorff|arXiv (Cornell University)|2011. 03. 16.

Data-Driven Disease Surveillance참고 문헌 10인용 수 2

한 줄 요약

이 논문은 구글 맵과 웹 오브 사이언스 데이터를 사용하여, 우연의 여유를 초과해 높은 인용을 받는 논문을 더 많이 내는 도시를 통계적으로 엄밀하게, 개방형으로 규명하는 방법을 제안한다. 관측된 우수 논문 수와 기대되는 수를 비교하기 위해 통계적 유의성 검정을 적용함으로써, 물리학, 화학, 심리학 분야에서 순수한 출판량을 넘어서 뛰어난 연구 우수성을 보이는 '진정한 보석들'(진정한 뛰어남)을 드러낸다.

ABSTRACT

The methods presented in this paper allow for a statistical analysis revealing centers of excellence around the world using programs that are freely available. Based on Web of Science data, field-specific excellence can be identified in cities where highly-cited papers were published significantly. Compared to the mapping approaches published hitherto, our approach is more analytically oriented by allowing the assessment of an observed number of excellent papers for a city (in the sample) against the expected number. Using this test, the approach cannot only identify the top performers in output but the true jewels. These are cities locating authors who publish significantly more top cited papers than can be expected. As the examples in this paper show for physics, chemistry, and psychology, these cities do not necessarily have a high output of excellent papers.

연구 동기 및 목표

• 우연의 여유를 초과해 통계적으로 유의미한 연구 성과를 보이는 도시를 규명하는 방법을 개발하는 것.
• 기존의 지도화 기법이 높은 출판량을 우선시하되 통계적 유의성 평가를 고려하지 않는 한계를 해결하는 것.
• 연구자와 기관이 높은 출판량을 보이는 도시와 진정으로 뛰어난 연구 성과를 보이는 도시를 구분할 수 있도록 돕는 것.
• 광범위하게 이용 가능한 소프트웨어와 데이터(웹 오브 사이언스)를 활용해 자유롭게 접근 가능하고 분석적으로 탄탄한 도구를 제공하는 것.

제안 방법

• 이 방법은 웹 오브 사이언스 데이터를 사용하여 도시 소속 저자들이 발표한 분야별로 높은 인용을 받는 논문을 추출한다.
• 각 도시에 대한 뛰어난 논문의 기대 수를 도시 간 높은 인용 논문의 세계적 분포를 기반으로 계산한다.
• 관측된 뛰어난 논문 수와 기대 수를 비교하기 위해 통계적 유의성 검정(예: 포아송 또는 이항 검정)을 수행한다.
• 기대 수보다 유의미하게 더 많은 관측된 뛰어난 논문 수를 보이는 도시는 연구 우수 중심지로 분류된다.
• 결과는 구글 맵을 사용하여 시각화되어 통계적으로 유의미한 연구 우수 중심지의 공간적 분포를 표현한다.
• 분야별로 별도로 적용되어 물리학, 화학, 심리학 등 각 학문 분야의 특성에 맞는 유의미한 결과를 보장한다.

실험 결과

연구 질문

• RQ1 특정 학문 분야에서 우연의 여유를 초과해 더 많은 높은 인용 논문을 내는 도시는 어디인가?
• RQ2 단순한 출판량 순위와 비교해 통계적 유의성 검정이 진정한 연구 우수성을 규명하는 데 어떻게 향상되는가?
• RQ3 높은 연구 출판량을 보이는 도시들이 실제로 통계적으로 뛰어난 논문 질을 보이는 정도는 어느 정도인가?
• RQ4 최고의 출판량을 보이지 않지만, 예상보다 뚜렷하게 더 많은 높은 인용 논문을 내는 '진정한 보석' 도시들은 존재하는가?
• RQ5 기존의 전통적인 지도화 기법과 비교해 본다면, 제안된 방법은 연구 우수 중심지를 규명하는 데 어떻게 다른가?

주요 결과

• 이 방법은 절대적인 출판량이 가장 높지 않더라도 통계적으로 뚜렷한 연구 우수성을 보이는 도시를 성공적으로 규명한다.
• 물리학, 화학, 심리학 분야에서 여러 도시가 '진정한 보석'으로 드러났다—기대되는 것보다 뚜렷하게 더 많은 높은 인용 논문을 내는 도시였다.
• 일부는 총 출판량 순위에서 상위가 아니었지만 높은 통계적 유의성로 나타나, 뛰어난 연구 품질을 보여주는 도시들이 있었다.
• 이 접근법은 높은 출판량이 반드시 통계적 우수성과 관련이 있음을 보여주지 않으며, 평가 과정에서 유의성 검정의 중요성을 부각시킨다.
• 자유롭게 이용 가능한 도구(구글 맵, 웹 오브 사이언스)의 사용은 분석의 광범위한 접근성과 재현 가능성을 보장한다.
• 이전의 시각화 중심 또는 출판량 기반 접근법과 비교해 볼 때, 이 방법은 글로벌 연구 우수성을 더 세밀하고 분석적으로 탄탄한 방식으로 지ap하는 데 기여한다.