[논문 리뷰] Normalizing the measurement of citation performance: Principles for comparing sets of documents

Loet Leydesdorff, Lutz Bornmann외 2명|arXiv (Cornell University)|2011. 01. 20.

Advanced Text Analysis Techniques참고 문헌 3인용 수 4

한 줄 요약

이 논문은 다양한 기준집합과 표본 크기를 가진 문서 집합을 공정하게 평가하기 위해 백분위수 순위를 사용한 정규화된 인용 성과 비교 프레임워크를 제안한다. 문서 집합을 단일 모집단의 표본으로 간주할 경우, 기존의 인용 지표는 새로운 정규화 지표와 음의 상관관계를 보일 수 있음을 시현하며, 인용 분석에서 방법론의 일관성이 필요하다는 점을 강조한다.

ABSTRACT

Using citation analysis, sets of documents can be compared as independent samples; for example, in terms of average citation counts using potentially different reference sets. From this perspective, the size of samples matters only for the identification of significant differences and estimating margins of error. Using the percentile rank approach, differences among citation distributions can be studied non-parametrically and in a single scheme. Comparison among the sets clarifies that the different sizes of samples affect the weighing of the probabilities and therefore the rankings. We distinguish among (1) the normalization of papers against external reference sets, (2) normalization in terms of frequencies relative to the margin-totals of independent versus dependent samples, and (3) the potentially normative definition of percentile rank classes for the evaluation (e.g., top-1% most highly cited, median, etc.). When the sets to be evaluated are considered as subsamples of a single sample, the consequent citation indicator can be negatively correlated to citation indicators used hitherto.

연구 동기 및 목표

• 다른 크기와 기준집합을 가진 문서 집합을 비교할 때 인용 성과 평가의 일관성 문제를 해결하기 위해.
• 정규분포나 동일 분산을 가정하지 않는 비모수적 방법을 개발하여 인용 분포를 비교하기 위해.
• 표본 크기와 기준집합 선택이 인용 분석에서 확률 가중치와 순위에 미치는 영향을 명확히 하기 위해.
• 분야 간 일관된 평가를 위해 백분위수 순위 클래스(예: 상위 1%, 중앙값 등)의 표준화된 범주 정의를 제안하기 위해.

제안 방법

• 백분위수 순위 방법을 사용해 인용 수를 정규화함으로써, 독립적인 문서 집합 간 비모수적 비교를 가능하게 하기 위해.
• 여러 문서 집합을 단일 통합 표본의 표본으로 간주하여 통합된 인용 지표를 유도하기 위해.
• 교차표의 가장자리 총합을 기반으로 한 빈도 기반 정규화를 적용하여 표본 크기와 기준집합의 차이를 보정하기 위해.
• 세 가지 정규화 유형을 구분: 외부 기준집합 정규화, 빈도 기반 정규화, 범주 기반 백분위수 순위 정의.
• 표본 크기와 무관하게 유의미성과 오차 범위를 평가하기 위해 통계적 추론을 적용하기 위해.
• 표본으로 간주할 경우 기존의 인용 지표(예: 평균 인용 수)는 새로운 정규화 지표와 음의 상관관계를 보일 수 있음을 시현하기 위해.

실험 결과

연구 질문

• RQ1 다른 크기와 기준집합을 가진 문서 집합 간에 어떻게 공정하게 인용 성과를 비교할 수 있는가?
• RQ2 표본 크기와 기준집합 선택이 인용 지표의 확률 가중치와 순위에 어떤 영향을 미치는가?
• RQ3 여러 문서 집합을 단일 모집단의 표본으로 간주할 경우 인용 지표의 타당성은 어떻게 영향을 받는가?
• RQ4 백분위수 순위를 사용해 범주 기반 인용 기준(예: 상위 1%)을 정의할 경우 어떤 함의가 있는가?
• RQ5 기존의 인용 지표가 새로 제안된 정규화 지표와 음의 상관관계를 보일 수 있는 이유는 무엇인가?

주요 결과

• 백분위수 순위 방법은 모수적 분포를 가정하지 않고도 서로 다른 기준집합 간 인용 분포의 비모수적 비교를 가능하게 한다.
• 표본 크기와 기준집합의 차이는 확률 가중치에 크게 영향을 미치며, 결과적으로 인용 순위에 영향을 준다.
• 문서 집합을 단일 모집단의 표본으로 간주할 경우, 새로운 인용 지표는 기존의 인용 지표와 음의 상관관계를 보일 수 있다.
• 교차표의 가장자리 총합을 사용한 정규화는 독립적 및 종속적 표본 간 인용 빈도 비교에 통계적으로 타당한 방법을 제공한다.
• 백분위수 순위 클래스(예: 상위 1%)를 범주 기반 기준으로 정의함으로써 인용 평가의 일관성과 공정성이 향상된다.
• 본 연구는 표본 구성과 기준집합의 변동을 적절히 고려하지 않을 경우 기존 인용 지표가 오해의 소지가 있을 수 있음을 드러낸다.