[논문 리뷰] Normalization, CWTS indicators, and the Leiden Rankings: Differences in citation behavior at the level of fields

Loet Leydesdorff, Tobias Opthof|arXiv (Cornell University)|2010. 03. 21.

scientometrics and bibliometrics research참고 문헌 32인용 수 6

한 줄 요약

이 논문은 인용 영향 지표에서 분야 정규화의 문제를 비판하며, 분야별 인용 관행을 고려하는 분수 인용 수세기(FracC)가 이를 대체할 수 있는 더 나은 방법이라고 주장한다. FracC는 분야 간 비교에서 발생하는 편향을 제거하여 다양한 학문 분야에서 연구 성과 평가에 더 정확하고 일관성 있는 방법을 제공한다.

ABSTRACT

Van Raan et al. (2010; arXiv:1003.2113) have proposed a new indicator (MNCS) for field normalization. Since field normalization is also used in the Leiden Rankings of universities, we elaborate our critique of journal normalization in Opthof & Leydesdorff (2010; arXiv:1002.2769) in this rejoinder concerning field normalization. Fractional citation counting thoroughly solves the issue of normalization for differences in citation behavior among fields. This indicator can also be used to obtain a normalized impact factor.

연구 동기 및 목표

• 레이든 랭킹에서 사용되는 지표와 같은 인용 영향 지표의 분야 정규화의 타당성과 신뢰성에 도전하기 위해.
• 학문 분야 간 인용 행동의 차이로 인해 발생하는 지속적인 문제를 다루어 다학문 간 연구 성과 비교의 왜곡을 방지하기 위해.
• 기존의 정규화 기법보다 더 견고하고 이론적으로 타당한 대안으로 분수 인용 수세기(FracC)를 주장하기 위해.
• FracC가 다양한 과학 분야에서 연구 성과를 공정하고 일관성 있게 기준화할 수 있음을 보여주기 위해.
• FracC를 기반으로 한 정규화된 영향력 지표의 방법론적 기반을 제공하여 기관 및 개인의 성과 평가 정확도를 향상시키기 위해.

제안 방법

• 기여한 기관과 분야에 따라 인용을 비례적으로 배분함으로써 인용 영향을 정규화하는 방법으로 분수 인용 수세기(FracC)를 제안한다.
• 과학 분야 간 인용 관행의 차이를 조정하기 위해 FracC를 적용하여 정규화된 영향력 지표를 계산한다.
• Van Raan 등(2010)이 제안한 MNCS 지표를 포함한 전통적인 분야 정규화 방법과 FracC를 비교한다.
• 이론적 및 실증적 분석을 통해 FracC가 저널 기반 정규화에서 발생하는 편향을 피할 수 있음을 보여준다.
• 각 분야의 평균 인용 행동에 따라 인용 수를 조정하기 위해 분야 수준의 인용 데이터 사용을 강조한다.
• FracC가 임의의 정규화 파rameter가 필요로 하지 않고도 분야별 인용 문화를 내재적으로 반영한다는 점을 주장한다.

실험 결과

연구 질문

• RQ1 학문 분야 간 인용 행동의 차이가 연구 평가 지표의 공정성에 어떻게 영향을 미치는가?
• RQ2 MNCS와 같은 지표를 사용한 분야 정규화가 다학문 간 연구 비교의 정확도를 어느 정도 향상시키는가?
• RQ3 분수 인용 수세기(FracC)가 현재의 정규화 방법보다 더 신뢰성 있고 일관성 있는 대안이 될 수 있는가?
• RQ4 저널 기반 또는 분야 기반 정규화 인용 지표에 비해 FracC의 이론적 및 실용적 이점은 무엇인가?
• RQ5 다양한 과학 분야 간 공정한 기준 설정을 보장하기 위해 FracC를 사용하여 정규화된 영향력 지표를 어떻게 유도할 수 있는가?

주요 결과

• 분수 인용 수세기(FracC)는 기관과 분야에 따라 인용을 비례적으로 배분함으로써 분야 간 인용 행동의 차이 문제를 효과적으로 해결한다.
• 연구 결과로 FracC는 MNCS와 같은 분야 정규화 기법보다 더 일관성 있고 이론적으로 타당한 인용 영향 정규화 방법임을 입증한다.
• 저널 수준의 데이터 기반 분야 정규화는 기여 단위에 대한 인용의 실제 분포를 고려하지 않아 왜곡을 유발하지만, FracC는 이를 피한다.
• 저자들은 FracC를 사용하여 진정으로 다양한 학문 분야의 연구 성과를 반영하는 신뢰할 수 있는 정규화된 영향력 지표를 도출할 수 있음을 입증한다.
• MNCS 및 기타 정규화 방법의 비판을 통해 이들이 종종 인용 네트워크의 진정한 구조와 분야별 관행을 충분히 반영하지 못한다는 점이 드러났다.
• 특히 다학문 연구 환경에서 기관 평가에 있어 FracC는 더 견고하고 투명한 방법임이 입증되었다.