[논문 리뷰] Comparison of research productivity of Italian and Norwegian professors and universities

Giovanni Abramo, Dag W. Aksnes외 1명|arXiv (Cornell University)|2019. 07. 03.

scientometrics and bibliometrics research참고 문헌 24인용 수 12

한 줄 요약

이 연구는 이탈리아에서만 이전에 사용된 바 있는 FSS 연구 효율성 지표를 적용하여 2011~2015년 기간 동안 이탈리아와 노르웨이의 교수 및 대학 간 연구 생산성을 비교한다. 데이터 제약을 극복하기 위해 공통 분야 분류 체계를 개발하였으며, 평균 성과는 유사한 것으로 나타났지만, 노르웨이는 수학 및 지구·우주 과학 분야에서 뛰어난 성과를 보이며, 이탈리아는 생물의학 연구 및 공학 분야에서 높은 성과를 기록한다.

ABSTRACT

This is the first ever attempt of application in a country other than Italy of a research efficiency indicator (FSS), to assess and compare the performance of professors and universities, within and between countries. A special attention has been devoted to the presentation of the methodology developed to set up a common field classification scheme of professors, and to overcome the limited availability of comparable input data. Results of the comparison between countries, carried out in the 2011-2015 period, show similar average performances of professors, but noticeable differences in the distributions, whereby Norwegian professors are more concentrated in the tails. Norway shows notable higher performance in Mathematics and Earth and Space Sciences, while Italy in Biomedical Research and Engineering.

연구 동기 및 목표

• 이탈리아를 초월해 FSS 연구 효율성 지표의 적용을 확장하여 다국적 연구 성과 비교를 가능하게 하기 위해.
• 이탈리아와 노르웨이의 교수들 간 표준화된 분야 분류 체계를 개발하여 방법론적 일관성을 확보하기 위해.
• 다국적 연구 성과 평가에서 제한적이고 일관성 없는 입력 데이터 문제를 해결하기 위해.
• 다섯 해 동안 이탈리아와 노르웨이의 개별 교수 및 대학의 연구 생산성을 평가하고 비교하기 위해.
• 두 국가의 학술 제도 간 연구 산출물 분포의 구조적 차이를 규명하기 위해.

제안 방법

• 이탈리아 학술계 전용으로 설계된 FSS(Field-Standardized Score) 지표를 노르웨이 기관에 적응 및 적용하기 위해.
• 학문적 코드를 사용하여 양국의 교수 연구 분야를 맵핑하기 위해 통합된 분야 분류 체계를 구축하기 위해.
• Scopus 및 기타 데이터베이스의 논문 및 인용 데이터를 활용하여 연구 산출 및 영향력 지표를 계산하기 위해.
• 각 분야의 인용 관행 및 출판 빈도의 차이를 반영하기 위해 분야별로 생산성 점수를 정규화하기 위해.
• 중앙 경향성과 꼬리 행동에 중점을 두고 연구 성과 분포를 비교하기 위해 통계적 방법을 적용하기 위해.
• 이질적인 입력 자료를 통합하여 비교 가능한 분석 프레임워크로 변환하기 위해 공통 데이터 통합 파이프라인을 구현하기 위해.

실험 결과

연구 질문

• RQ1 2011~2015년 기간 동안 FSS 지표로 측정했을 때 이탈리아와 노르웨이 교수의 연구 생산성은 어떻게 비교되는가?
• RQ2 학술 제도의 국가적 차이가 두 나라의 연구 성과 분포에 얼마나 큰 영향을 미치는가?
• RQ3 노르웨이와 이탈리아의 교수들이 상대적으로 가장 높은 생산성을 보이는 학문 분야는 어디인가?
• RQ4 분야 분류 체계가 다국적 연구 성과 비교의 신뢰성과 타당성에 어떤 영향을 미치는가?
• RQ5 이탈리아와 노르웨이 간 연구 산출물 분포의 구조적 차이는 무엇인가, 특히 상위 및 하위 꼬리 부분에서 어떻게 나타나는가?

주요 결과

• 2011~2015년 기간 동안 FSS 지표로 측정했을 때 이탈리아와 노르웨이 교수의 평균 연구 생산성은 유사한 것으로 나타났다.
• 노르웨이 교수는 성과 분포의 상위 꼬리 부분에서 높은 성과를 내는 개인의 집중도가 더 높았다.
• 이탈리아는 생물의학 연구 및 공학 분야에서 더 강력한 연구 성과를 보이며, 노르웨이는 수학 및 지구·우주 과학 분야에서 선도적 위치를 차지한다.
• 개발된 분야 분류 체계는 데이터 가용성 및 구조의 차이에도 불구하고 다국적 비교를 성공적으로 가능하게 하였다.
• FSS 지표는 비이탈리아 환경에서도 강건하고 이식 가능했으며, 국제적 학술 기준 비교에의 적용 가능성을 입증하였다.
• 이 연구는 국가별 연구 제도가 평균 산출물 외에도 성과 분포의 형태와 왜곡 정도에서의 차이를 보임을 드러냈다.