[논문 리뷰] The convergent validity of several (field-normalized) bibliometric indicators: How well does I3 perform for impact measurement?

Lutz Bornmann, Alexander Tekles외 1명|arXiv (Cornell University)|2019. 01. 01.

scientometrics and bibliometrics research인용 수 1

한 줄 요약

이 연구는 분야별로 표준화된 인용 지표인 통합 영향도 지표(I3)의 수렴 타당도를 평가한다. I3는 각 논문의 분야 및 출판 연도 내에서의 인용 분위수 순위에 따라 인용을 가중치를 두는 분야별 표준화된 정보학적 지표이며, F1000Prime의 게재 후 평론을 금표 기준으로 사용한다. I3는 다른 분야별 표준화 지표들과 유사하거나 약간 더 뛰어난 성능을 보이며, PPtop 1%는 다양한 품질 수준 간의 구분 능력이 가장 뛰어나다.

ABSTRACT

Recently, the integrated impact indicator (I3) indicator was introduced where citations are weighted in accordance with the percentile rank class of each publication in a set of publications. I3 can be used as a field-normalized indicator. Field-normalization is common practice in bibliometrics, especially when institutions and countries are compared. Publication and citation practices are so different among fields that citation impact is normalized for cross-field comparisons. In this study, we test the ability of the indicator to discriminate between quality levels of papers as defined by Faculty members at F1000Prime. F1000Prime is a post-publication peer review system for assessing papers in the biomedical area. Thus, we test the convergent validity of I3 (in its size-independent variant) using assessments by peers as baseline and compare its validity with several other (field-normalized) indicators: the mean-normalized citation score (MNCS), relative-citation ratio (RCR), citation score normalized by cited references (CSNCR), characteristic scores and scales (CSS), source-normalized citation score (SNCS), citation percentiles, and proportion of papers which belong to the x% most frequently cited papers (PPtop x%). The results show that the PPtop 1% indicator discriminates best among different quality levels. I3 performs similar as (slightly better than) most of the other field-normalized indicators. Thus, the results point out that the indicator could be a valuable alternative to other indicators in bibliometrics.

연구 동기 및 목표

• 연구 영향도를 분야별로 표준화한 지표로서 통합 영향도 지표(I3)의 수렴 타당도를 평가하는 것.
• I3의 성능을 생물의학 분야 논문의 품질 수준을 구분하는 데 있어 기존의 분야별 표준화된 정보학적 지표들과 비교하는 것.
• I3가 F1000Prime 교수 평론자들이 정의한 평론 기반 품질을 효과적으로 반영하는지 평가하는 것.
• I3가 다분야 비교에서 기존 영향도 지표들에 비해 유의미한 대안이 되는지 확인하는 것.

제안 방법

• I3는 논문이 속한 분야와 출판 연도 내에서의 분위수 순위에 따라 인용을 가중치를 두어 크기 독립적이고 분야별로 표준화된 지표로 적용하였다.
• 생물의학 분야의 게재 후 평론 시스템인 F1000Prime의 평론 결과를 품질 평가의 기준으로 사용하였다.
• I3의 성능은 MNCS, RCR, CSNCR, CSS, SNCS, 인용 분위수, PPtop x%를 포함한 7개의 다른 분야별 표준화 지표와 비교하였다.
• 수렴 타당도는 각 지표의 순위와 F1000Prime 평론자들이 평가한 품질 수준 간의 상관관계를 측정하여 평가하였다.
• 통계 분석을 통해 각 지표가 평론으로 정의된 명백한 품질 수준 간의 구분 능력을 평가하였다.
• 연구는 기관 및 국가 간 공정한 비교를 보장하기 위해 크기 독립적 I3 변형에 집중하였다.

실험 결과

연구 질문

• RQ1 I3 지표는 F1000Prime로 측정된 평론 기반 연구 품질과 얼마나 잘 상관되는가?

주요 결과

• PPtop 1% 지표는 F1000Prime 평론자들이 정의한 다양한 품질 수준 간의 구분 능력이 가장 뛰어났다.
• I3는 다른 대부분의 분야별 표준화 지표들과 유사하거나 약간 더 뛰어난 성능을 보였다.
• I3는 다양한 출판 분야에서 뛰어난 성능을 보이며, 다분야 영향도 평가 잠재력을 보여주었다.
• 이 연구는 분야별 표준화 지표, 특히 I3가 다양한 학문 분야 간 연구 영향도 비교에 효과적인 도구임을 확인하였다.
• 평가된 지표들 중에서 PPtop 1%는 가장 높은 구분 능력을 보였으며, 이는 고영향도 연구의 가장 신뢰할 수 있는 대체 지표일 수 있음을 시사한다.
• I3의 성능은 연구 평가 맥락에서 기존 정보학적 지표들과의 대안으로서의 활용 가능성을 뒷받침한다.