[논문 리뷰] Revisiting Relative Indicators and Provisional Truths

Loet Leydesdorff, Tobias Opthof|arXiv (Cornell University)|2018. 08. 29.

scientometrics and bibliometrics research참고 문헌 19인용 수 4

한 줄 요약

이 논문은 현재의 통계적 방법을 넘어서 Citation Impact 지표의 발전을 위해 과거의 상대적 지표와 일시적 진리 개념을 재고함으로써 과학지표 평가에서의 발전을 주장한다. 이는 기울어진 Citation 분포를 더 잘 다루기 위해 비모수적 접근법(예: 상위 10퍼센트 Citation 임계값)을 영향도 평가에 통합할 것을 제안하며, 기존의 z-점수와 기대 Citation 비율에 비해 더 견고한 대안을 제공한다.

ABSTRACT

Following discussions in 2010 and 2011, scientometric evaluators have increasingly abandoned relative indicators in favor of comparing observed with expected citation ratios. The latter method provides parameters with error values allowing for the statistical testing of differences in citation scores. A further step would be to proceed to non-parametric statistics (e.g., the top-10%) given the extreme skewness (non-normality) of the citation distributions. In response to a plea for returning to relative indicators in the previous issue of this newsletter, we argue in favor of further progress in the development of citation impact indicators.

연구 동기 및 목표

• 상대적 지표가 z-점수와 같은 통계적 방법으로 대체된 이후 과학지표 평가에서 상대적 지표의 사용을 재평가하고자 한다.
• Citation 분포의 극심한 기울어짐으로 인해 파rametric 통계 기법이 Citation 분석에 한계를 가진다는 문제를 다루고자 한다.
• 보다 신뢰할 수 있는 영향도 평가를 위해 상위 10퍼센트 Citation 임계값과 같은 비모수적 방법으로의 전환을 제안하고자 한다.
• 상대적 지표로의 복귀를 요구하는 목소리에 응답하기 위해 통계적 견고성에 기반한 방법론적으로 발전된 대안을 제공하고자 한다.
• 연구 평가 맥락에서 Citation Impact 지표의 타당성과 해석 가능성 향상을 위해 목표로 한다.

제안 방법

• 관측된 Citation 수와 기대 Citation 비율을 비교함으로써 상대적 지표의 사용을 재평가한다.
• 기대 Citation 모델에서 유도된 오차 값을 사용하여 Citation 점수의 차이에 대한 통계적 검증을 적용한다.
• Citation 수의 정규분포가 아니므로 비모수적 통계 기법의 도입을 주장한다.
• 기존 지표에 비해 더 견고한 대안으로 상위 10퍼센트 Citation 임계값을 도입한다.
• 불확실성과 맥락 의존성을 반영하기 위해 Citation 분석에서 일시적 진리의 개념을 강조한다.
• 방법론적 엄밀함과 Citation Impact 지표의 본질에 대한 인식론적 성찰을 통합한다.

실험 결과

연구 질문

• RQ1 Citation 분포의 비정규성에 더 잘 반영하기 위해 Citation Impact 지표는 어떻게 개선될 수 있는가?
• RQ2 과학지표 평가에서 z-점수와 기대 Citation 비율을 사용할 때의 한계는 무엇인가?
• RQ3 상위 10퍼센트 임계값과 같은 비모수적 방법이 Citation Impact 평가의 신뢰성에 어느 정도 기여할 수 있는가?
• RQ4 상대적 지표에서 통계적 비율로의 전환은 연구 평가에서 어떤 방법론적 결함을 초래했는가?
• RQ5 '일시적 진리' 개념은 학술 평가에서 Citation 지표의 해석 가능성에 어떻게 기여할 수 있는가?

주요 결과

• 정규성 가정을 내포한 파rametric 통계 기법의 우선시로 인해 상대적 지표의 사용이 부당하게 간과되고 있다.
• Citation 분포는 극도로 기울어져 있어, z-점수와 같은 파rametric 검정은 변환 없이 통계적으로 부적절하다.
• 상위 10퍼센트 Citation 임계값과 같은 비모수적 접근법은 기존 지표에 비해 더 견고하고 해석 가능성이 높은 대안을 제공한다.
• 오차 값을 포함한 기대 Citation 비율은 통계적 기반을 제공하지만, 비정규성 문제를 해결하지 못한다.
• 일시적 진리 개념은 Citation Impact 지표에 대한 더 세밀하고 맥락에 민감한 해석을 지원한다.
• 연구 평가 관행을 향상시키기 위해 비모수적 지표로의 방법론적 전환은 필수적이며 실현 가능하다.