[논문 리뷰] Citation entropy and research impact estimation

З. К. Силагадзе|arXiv (Cornell University)|2009. 05. 07.

Complex Systems and Time Series Analysis참고 문헌 26인용 수 27

한 줄 요약

이 논문은 h-지수의 한계를 보완하기 위해 인용 엔트로피를 기반으로 한 인용 영향도 지표인 s-지수를 제안한다. 이는 h번째 기준을 초월한 인용 수 변화에 대한 민감도가 떨어지는 문제를 해결하기 위한 것이다. 정보 이론을 활용하여 s-지수는 인용 분포의 다양성을 정량화하며, 특히 비지프-형 인용 데이터에서 인용 패턴에 대해 더 높은 민감도를 보인다. 그러나 일반적인 지프-형 조건에서는 h-지수가 여전히 강건하다.

ABSTRACT

A new indicator, a real valued $s$-index, is suggested to characterize a quality and impact of the scientific research output. It is expected to be at least as useful as the notorious $h$-index, at the same time avoiding some its obvious drawbacks. However, surprisingly, the $h$-index is found to be quite a good indicator for majority of real-life citation data with their alleged Zipfian behaviour for which these drawbacks do not show up. The style of the paper was chosen deliberately somewhat frivolous to indicate that any attempt to characterize the scientific output of a researcher by just one number always has an element of a grotesque game in it and should not be taken too seriously. I hope this frivolous style will be perceived as a funny decoration only.

연구 동기 및 목표

• h-지수가 h번째 기준을 초월한 인용 수 변화에 민감하지 못함으로써 진정한 영향력의 차이를 반영하지 못하는 문제를 해결하기 위해.
• 정보 이론을 활용하여 연구자의 논문 인용 분포의 다양성을 더 세밀하게 측정할 수 있는 지표를 개발하기 위해.
• 특히 비표준 인용 패턴에서 s-지수와 같은 엔트로피 기반 지표가 h-지수보다 공정성과 민감도 면에서 뛰어나다는지 평가하기 위해.
• 지프-형 인용 분포 하에서 h-지수가 얼마나 강건한지 조사하고, 이러한 상황에서 s-지수가 어떤 이점을 제공하는지 평가하기 위해.
• 학술 평가에서 단일 수치 지표에 과도하게 의존하는 것을 경고하고, 보조적인 네트워크 기반 분석의 필요성을 주장하기 위해.

제안 방법

• 샤논 공식을 사용해 인용 엔트로피 S를 정의한다: S = -Σ(pi * ln(pi))이며, 여기서 pi = Ci/Ctot는 각 논문의 정규화된 인용 수이다.
• s-지수를 s = (1/4) * sqrt(Ctot) * exp(S/S0)로 정의하며, S0 = ln(N)은 균일한 인용 분포에서의 최대 엔트로피이다.
• 켈블락-라이블러 발산을 활용해 s-지수를 재구성한다: s ≈ (2/3) * sqrt(Ctot) * exp(-SKL/S0)이며, 여기서 SKL는 균일성에서의 편차를 측정한다.
• 지프-형 분포(Ci = C/i) 하에서 인용 기록을 분석하고, h-지수와 s-지수에 대한 이론적 척도 법칙을 유도한다.
• 이론적 예측을 Citebase의 실증 데이터와 비교하여, hN ≈ sqrt(Ctot / ln N) 및 sN ≈ (2/3) * sqrt(Ctot) * ln(√N ln N)/ln N의 척도 행동을 검증한다.
• 시뮬레이션과 실제 인용 데이터를 사용해 s-지수의 행동을 다양한 상황(예: 인용 기록 변화, 이질적 논문 존재)에서 테스트한다.

실험 결과

연구 질문

• RQ1 h-지수와 비교할 때, 인용 수가 h번째 기준을 초월할 경우 s-지수가 인용 영향력의 차이를 얼마나 잘 반영하는가?
• RQ2 지프-형 인용 분포 하에서 h-지수가 얼마나 신뢰할 수 있는 지표로 유지되는가? 그리고 이러한 경우에 잘 작동하는 이유는 무엇인가?
• RQ3 비균일한 인용 패턴에서 엔트로피 기반 지표가 h-지수보다 더 민감하고 공정한 연구 영향도 측정에 기여할 수 있는가?
• RQ4 극도로 높은 인용 수를 가진 이질적 논문이 h-지수와 s-지수의 타당성에 미치는 영향은 무엇이며, 이는 척도 법칙에 어떤 영향을 미치는가?
• RQ5 s-지수와 h-지수의 이론적 척도 행동이 Citebase와 같은 실제 세계의 자료 저장소에서의 실증 인용 데이터와 얼마나 일치하는가?

주요 결과

• h-지수보다 s-지수가 h번째 기준을 초월한 인용 수 변화에 더 민감하다. h=10개 논문의 인용 수가 10배 증가할 경우 s는 6.8에서 21.5로 상승함을 입증하였다.
• 연구자가 협업에서 영향력을 잃을 경우 s-지수는 4.8에서 3.0으로 감소하여 더 현실적인 영향력 감소를 반영하지만, h-지수는 변화하지 않는다.
• 비최고 인용 논문들이 인용을 얻을 경우 s-지수는 3.0에서 6.9로 증가하여 h-지수보다 더 넓은 인용 증가에 민감하게 반응함을 보였다.
• 지프-형 인용 분포(Ci = C/i) 하에서 h-지수는 h ≈ sqrt(Ctot / ln N)로 척도가 작동하고, s-지수는 s ≈ (2/3) * sqrt(Ctot) * ln(√N ln N)/ln N로 척도가 작동하며, 이는 실증적으로 검증되었다.
• N=30과 N=130일 경우 각각 S/S0 ≈ 0.86과 0.82를 기록하여, 지프-형 조건 하에서 인용 엔트로피가 매우 예측 가능함을 나타내며, 이는 h-지수가 이러한 영역에서 효과적으로 작동할 수 있음을 뒷받침한다.
• 극도로 높은 인용 수를 가진 이질적 논문은 지프-형 행동을 방해하고 척도 법칙을 무효화한다. 이러한 논문을 제거하면 두 지수 모두 이론적 척도 법칙이 복원된다.