[논문 리뷰] Towards a new crown indicator: An empirical analysis

Ludo Waltman, Nees Jan van Eck외 3명|arXiv (Cornell University)|2010. 04. 09.

scientometrics and bibliometrics research참고 문헌 16인용 수 5

한 줄 요약

이 논문은 인용 기반 연구 성과 지표의 두 가지 정규화 기법을 실증적으로 비교한다: 현재의 CWTS 冠 지표(CPP/FCSm)와 분야 및 연도 정규화된 인용 비율에 기반한 새로운 지표(MNCS). MNCS 지표는 모든 출판물을 동일하게 취급하고 가중치 편향을 피하므로, 국가, 기관 등 높은 집계 수준에서는 CPP/FCSm와 거의 차이가 없지만, 연구 그룹, 저널 등 낮은 수준에서는 최근에 출간된 인용 수가 적은 출판물로 인해 노이즈가 발생하여 더 큰 격리가 발생한다.

ABSTRACT

We present an empirical comparison between two normalization mechanisms for citation-based indicators of research performance. These mechanisms aim to normalize citation counts for the field and the year in which a publication was published. One mechanism is applied in the current so-called crown indicator of our institute. The other mechanism is applied in the new crown indicator that our institute is planning to adopt. We find that at high aggregation levels, such as at the level of large research institutions or at the level of countries, the differences between the two mechanisms are very small. At lower aggregation levels, such as at the level of research groups or at the level of journals, the differences between the two mechanisms are somewhat larger. We pay special attention to the way in which recent publications are handled. These publications typically have very low citation counts and should therefore be handled with special care.

연구 동기 및 목표

• 기존의 CWTS 冠 지표(CPP/FCSm)를 대체할 새로운 정규화 기법(MNCS)의 실증적 영향을 평가하기 위해.
• 두 정규화 기법 간의 차이가 연구 그룹, 기관, 국가, 저널 등 다양한 집계 수준에서 성과 순위에 어떻게 영향을 미치는지 평가하기 위해.
• 최근 출판물, 특히 인용 수가 적은 출판물이 모든 출판물을 동일하게 취급하는 새로운 MNCS 지표에 미치는 영향을 조사하기 위해.
• 최근 출판물을 제외하면 기존 CPP/FCSm와 새로운 MNCS 지표 간의 일치도가 향상되는지 확인하기 위해.

제안 방법

• 연구는 두 가지 정규화 기법을 비교한다: 기존의 CPP/FCSm(실제 인용 수의 합을 기대 인용 수의 합으로 나눈 값)과 새로운 MNCS(실제 인용 수 대비 기대 인용 수 비율의 평균)이다.
• 분석은 연구 그룹, 연구 기관, 국가, 저널의 네 가지 집계 수준에서 수행되며, Web of Science 데이터베이스의 실증적 인용 데이터를 사용한다.
• MNCS 지표는 두 가지 변형으로 계산된다: MNCS1은 모든 출판물을 포함하고, MNCS2는 인용 역사를 1년 미만으로 가진 출판물을 제외한다.
• 두 지표의 성능은 데이터셋 간 순위 비교와 상관계수 분석을 통해 평가되며, 최근 출판물로 인한 격리 요인을 특정하는 데 중점을 둔다.
• 상관계수 분석과 순위 유사도 지표를 사용하여 CPP/FCSm와 두 MNCS 변형 간의 일치도를 평가하는 통계적 비교를 수행한다.
• 특히 인용 패턴이 극단적인 저널(예: Acta Crystallographica Section A)과 같은 극단적 사례를 분석하여, 고인용 논문이 지표에 미치는 영향을 이해한다.

실험 결과

연구 질문

• RQ1 연구 그룹, 기관, 국가, 저널과 같은 다양한 집계 수준에서 CPP/FCSm와 MNCS 지표의 성과 순위는 어떻게 비교될 수 있는가?
• RQ2 두 정규화 기법 간의 차이가 주로 최근 출판물 중 인용 수가 적은 출판물의 처리 방식에서 기인하는 정도는 어느 정도인가?
• RQ3 인용 역사를 1년 미만으로 가진 출판물을 제외하면 CPP/FCSm와 MNCS 지표 간의 일치도는 어떻게 변화하는가?
• RQ4 어떤 저널은 CPP/FCSm와 MNCS1 점수 간 큰 격리를 보이지만, 다른 저널은 MNCS2와 더 강한 일치를 보이는 이유는 무엇인가?
• RQ5 Acta Crystallographica Section A는 왜 세 가지 지표에서 극명하게 다른 점수를 보이는가?

주요 결과

• 국가 및 대규모 연구 기관과 같은 높은 집계 수준에서는 CPP/FCSm와 MNCS 지표가 거의 동일한 순위를 보이며, 점수의 격리는 극히 미미하다.
• 연구 그룹 및 저널과 같은 낮은 집계 수준에서는 CPP/FCSm와 MNCS 지표 간의 격리가 더 두드러지며, 특히 인용 패턴이 극단적인 저널에서 두드러진다.
• Acta Crystallographica Section A는 CPP/FCSm 점수 17.68, MNCS1 점수 32.28, MNCS2 점수 2.14를 보이며, 2008년에 출간된 단일 고인용 논문으로 인해 발생한다.
• 인용 역사를 1년 미만으로 가진 출판물을 제외하면, 특히 연구 그룹 및 저널 수준에서 CPP/FCSm와 MNCS 지표 간의 상관계수가 크게 향상된다.
• MNCS1 지표는 최근의 고성과 출판물에 더 민감한 반면, MNCS2 지표는 이러한 출판물을 제외함으로써 노이즈를 줄이지만 장기적 영향을 과소평가할 수 있다.
• 본 연구는 두 지표 간 격리의 일부 원인이 MNCS 프레임워크에서 동일하게 가중치를 부여하는 최근의 인용 수가 적은 출판물에서 발생하는 노이즈 때문이라고 결론 내린다.