[논문 리뷰] Inconsistencies of Recently Proposed Citation Impact Indicators and how to Avoid Them

Michael Schreiber|arXiv (Cornell University)|2012. 02. 17.

scientometrics and bibliometrics research참고 문헌 9인용 수 4

한 줄 요약

이 논문은 최근 제안된 두 개의 인용 영향 지표인 I3(6PR)과 R(6,k)에 대한 심각한 모순을 규명한다. 특히 소규모 데이터셋에서 미세한 데이터 변화가 계급 순위의 비선형적이고 부적절한 가중치 부여로 인해 극단적인 순위 변동을 유발함을 밝혀낸다. 저자들은 엄격한 독립성과 안정성을 보장하기 위해 분수형 점수 부여 규칙과 조정된 가중치를 제안하여, 이로 인해 불일치가 크게 감소하면서도 분야 간 차이에 대한 민감성은 유지됨을 확인한다.

ABSTRACT

It is shown that under certain circumstances in particular for small datasets the recently proposed citation impact indicators I3(6PR) and R(6,k) behave inconsistently when additional papers or citations are taken into consideration. Three simple examples are presented, in which the indicators fluctuate strongly and the ranking of scientists in the evaluated group is sometimes completely mixed up by minor changes in the data base. The erratic behavior is traced to the specific way in which weights are attributed to the six percentile rank classes, specifically for the tied papers. For 100 percentile rank classes the effects will be less serious. For the 6 classes it is demonstrated that a different way of assigning weights avoids these problems, although the non-linearity of the weights for the different percentile rank classes can still lead to (much less frequent) changes in the ranking. This behavior is not undesired, because it can be used to correct for differences in citation behavior in different fields. Remaining deviations from the theoretical value R(6,k) = 1.91 can be avoided by a new scoring rule, the fractional scoring. Previously proposed consistency criteria are amended by another property of strict independence which a performance indicator should aim at.

연구 동기 및 목표

• 최근 인용 영향 지표, 특히 I3(6PR)과 R(6,k)의 미세한 데이터 변동에 대한 불안정성을 조사한다.
• 소규모 데이터셋에서의 비정상적인 순위 행동의 근본 원인을 규명하며, 이는 여섯 개의 백분위수 순위 계급 내에서의 동점 논문과 비균일한 가중치 부여와 관련된다.
• 분야별 인용 행동에 민감성을 유지하면서도 불일치를 최소화하는 개선된 점수 부여 규칙(분수형 점수 부여)을 제안한다.
• 소규모 데이터 변화에 따른 순위의 임의적 변동을 방지하기 위해, 엄격한 독립성이라는 성질을 도입하여 일致성 기준을 강화한다.

제안 방법

• I3(6PR)과 R(6,k)에서 단일 논문이나 인용의 추가 또는 제거로 인해 연구자 순위가 완전히 뒤바뀌는 세 가지 설명적 사례를 분석한다.
• 불일치의 근본 원인을 여섯 개의 백분위수 순위 계급에 대한 비선형적이고 임의적인 가중치 부여, 특히 동점 논문에 대한 처리 방식으로 추적한다.
• 비례적 인용 기여도에 기반한 가중치를 할당하는 분수형 점수 부여 규칙을 제안하여 안정성을 높이고 분야 간 차이에 대한 민감성을 유지한다.
• 이론적 기대값 R(6,k) = 1.91에 잔여 편차를 제거하기 위해 점수 부여 메커니즘을 조정한다.
• 소규모 데이터 변화에 대한 안정성 확보를 위해, 성능 지표의 신뢰성과 탄력성을 높이기 위해 엄격한 독립성 개념을 도입한다.
• 시뮬레이션과 분석적 추론을 통해 다양한 데이터셋 크기와 인용 패턴에서 표준 점수 부여와 분수형 점수 부여를 비교한다.

실험 결과

연구 질문

• RQ1 왜 I3(6PR)과 R(6,k) 인용 영향 지표는 소규모 데이터셋이 약간 수정될 경우 비정상적인 행동을 보이는가?
• RQ2 왜 여섯 계급 체계 하에서 백분위수 순위 계급 내에서 논문이 동점이 되면 순위가 불안정해지는가?
• RQ3 분야 간 차이에 민감성을 유지하면서도 순위 불일치를 제거할 수 있는 개선된 점수 부여 규칙을 설계할 수 있는가?
• RQ4 엄격한 독립성 성질을 인용 영향 지표에 공식적으로 정의하고 시행할 수 있는가?
• RQ5 제안된 변경 사항이 이론적 R(6,k) = 1.91 값으로부터의 편차를 어느 정도 감소시키는가?

주요 결과

• I3(6PR)과 R(6,k) 지표는 소규모 데이터셋에서 심각한 순위 불일치를 보이며, 테스트된 사례에서 미세한 데이터 변화로 인해 순위가 완전히 뒤바뀌는 경우가 있다.
• 불일치의 근본 원인은 여섯 개의 백분위수 순위 계급에 대한 비선형적이고 임의적인 가중치 부여, 특히 동점 논문에 대한 처리 방식에 있다.
• 제안된 분수형 점수 부여 규칙은 순위 변동을 크게 감소시키고 데이터 변동에 대해 더 높은 안정성을 보장한다.
• 새로운 점수 부여 규칙은 관측된 R(6,k) 값을 이론적 기대값 1.91에 훨씬 더 가깝게 만들며 잔여 편차를 제거한다.
• 엄격한 독립성 개념의 도입은 데이터가 약간 변경되어도 성능 지표가 안정적이고 신뢰할 수 있도록 보장한다.