[논문 리뷰] Field-normalized Impact Factors: A Comparison of Rescaling versus Fractionally Counted IFs

Loet Leydesdorff, Filippo Radicchi외 3명|arXiv (Cornell University)|2012. 11. 12.

scientometrics and bibliometrics research참고 문헌 35인용 수 11

한 줄 요약

이 논문은 영향력 지수의 분야별 정규화 방법 두 가지를 비교한다: 군집 평균으로 재스케일링하기와 인용의 분수 계산하기. 13개 과학 분야의 3,705권의 저널에서 수집한 데이터를 바탕으로, 재스케일링 방법이 분수 계산 방법보다 공정성과 분석적 탄력성 면에서 뛰어나며, 특히 인용 목록 길이에 의한 편향을 줄이고 분야 간 인용 영향도 점수의 비교 가능성을 높이는 데서 두각을 나타낸다.

ABSTRACT

Two methods for comparing impact factors and citation rates across fields of science are tested against each other using citations to the 3,705 journals in the Science Citation Index 2010 (CD-Rom version of SCI) and the 13 field categories used for the Science and Engineering Indicators of the US National Science Board. We compare (i) normalization by counting citations in proportion to the length of the reference list (1/N of references) with (ii) rescaling by dividing citation scores by the arithmetic mean of the citation rate of the cluster. Rescaling is analytical and therefore independent of the quality of the attribution to the sets, whereas fractional counting provides an empirical strategy for normalization among sets (by evaluating the between-group variance). By the fairness test of Radicchi & Castellano (2012a), rescaling outperforms fractional counting of citations for reasons that we consider.

연구 동기 및 목표

• 과학 분야 간 영향력 지수 비교를 위한 두 가지 분야 정규화 기법을 평가하고 비교하기.
• 다른 인용 관행으로 인한 분야 간 인용 빈도 격차 문제 해결하기.
• 재스케일링과 분수 계산 중 어느 정규화 방법이 영향력 지수 비교 시 공정성과 정확성을 더 잘 유지하는지 규명하기.
• 다양한 인용 분포 패턴과 참고문헌 목록 길이 조건 하에서 각 방법의 탄력성 평가하기.
• 연구 평가에서 더 신뢰할 수 있는 문헌정보지표를 위한 방법론적 기반 제공하기.

제안 방법

• 재스케일링은 저널의 인용 점수를 그 분야 군집의 산술 평균 인용 빈도로 나누어 분야별 인용 행동을 정규화한다.
• 분수 계산은 각 인용에 대해 인용 논문의 참고문헌 목록 길이에 반비례하는 가중치(1/N)를 할당하여 인용을 참조 항목에 비례적으로 분배한다.
• 비교 분석은 미국 과학재단이 정의한 13개 분야로 분류된 2010년 과학인용색인(SCI)의 3,705권 저널에서 수집한 인용 데이터를 사용한다.
• 재스케일링과 분수 계산의 공정성은 Radicchi & Castellano(2012a)가 제안한 공정성 테스트를 통해 평가되며, 이는 분야 간 비교에서 편향을 얼마나 효과적으로 줄이는지를 평가한다.
• 분수 계산의 실증적 안정성을 평가하기 위해 군 간 분산 분석을 수행한다.
• 각 방법의 분야 간 정규화된 영향력 지수를 통계적으로 비교하여 일관성과 신뢰도 평가한다.

실험 결과

연구 질문

• RQ1 재스케일링과 분수 계산 중 어느 정규화 방법이 과학 분야 간 영향력 지수 비교에서 더 신뢰성 있고 공정한 결과를 도출하는가?
• RQ2 참고문헌 목록 길이의 차이가 분수 계산 기반의 분야 정규화된 영향력 지수 정확성에 어떤 영향을 미치는가?
• RQ3 재스케일링이 분수 계산 대비 분야 간 인용 빈도 비교에서 편향을 얼마나 줄이는가?
• RQ4 재스케일링이 인용 할당 품질에 의존하지 않는 분석적 독립성 덕분에 분수 계산보다 더 탄력적인가?
• RQ5 실제 인용 데이터에서 Radicchi & Castellano(2012a)의 공정성 테스트를 통과할 때 두 방법은 각각 어떤 성과를 보이는가?

주요 결과

• Radicchi & Castellano(2012a)가 제안한 공정성 테스트에서 재스케일링이 분수 계산을 능가하여 분야 간 편향을 최소화하는 데 뛰어난 성능을 보였다.
• 분수 계산은 분야에 대한 인용 할당 품질에 실증적으로 의존하여 변동성이 발생하고 신뢰도가 떨어질 수 있다.
• 재스케일링은 참고문헌 목록 길이와 인용 분포에 분석적으로 독립적이므로 저널 간에 더 탄력적이고 일관된 성능을 보인다.
• 인용 빈도의 군 간 분산은 재스케일링이 분수 계산보다 분야 특유의 왜곡을 더 효과적으로 줄여 관리한다.
• 재스케일링은 인용이 참조 항목에 균일하게 분포된다는 가정에 의존하지 않기 때문에 더 안정적인 정규화 프레임워크를 제공한다.
• 결과적으로 재스케일링은 대규모 문헌정보학적 분석에서 분야 정규화된 영향력 지수 계산에 우선적으로 사용되어야 한다는 것을 뒷받침한다.