[논문 리뷰] Towards Usage-based Impact Metrics: - First Results from the MESUR Project

Johan Bollen, Herbert Van de Sompel외 1명|ArXiv.org|2008. 04. 23.

Research Data Management Practices참고 문헌 15인용 수 12

한 줄 요약

이 논문은 주요 출판사와 도서관으로부터 10억 건이 넘는 기록을 포함하는, 학술적 사용 이벤트에 대한 첫 번째 대규모이고 다기관의 기준 데이터셋을 제시한다. 이는 사용 기반 지표(예: 다운로드, 이메일)가 신뢰할 수 있고 실시간으로 학술적 영향을 측정할 수 있음을 보여준다. 주요 발견은 사용 기반 네트워크 지표(예: 중심성)와 전통적인 인용 지표, 특히 PageRank와 같은 명성 기반 지표 사이에 강한 상관관계가 있음을 시사하며, 이는 사용 데이터가 저널 영향력 지수보다 더 빠르고 세밀한 영향 평가를 제공할 수 있음을 시사한다.

ABSTRACT

Scholarly usage data holds the potential to be used as a tool to study the dynamics of scholarship in real time, and to form the basis for the definition of novel metrics of scholarly impact. However, the formal groundwork to reliably and validly exploit usage data is lacking, and the exact nature, meaning and applicability of usage-based metrics is poorly understood. The MESUR project funded by the Andrew W. Mellon Foundation constitutes a systematic effort to define, validate and cross-validate a range of usage-based metrics of scholarly impact. MESUR has collected nearly 1 billion usage events as well as all associated bibliographic and citation data from significant publishers, aggregators and institutional consortia to construct a large-scale usage data reference set. This paper describes some major challenges related to aggregating and processing usage data, and discusses preliminary results obtained from analyzing the MESUR reference data set. The results confirm the intrinsic value of scholarly usage data, and support the feasibility of reliable and valid usage-based metrics of scholarly impact.

연구 동기 및 목표

• 학술적 사용 이벤트에 대한 대규모이고 표준화된 기준 데이터셋을 구축하여 사용 기반 영향 지표에 대한 철저한 연구를 가능하게 하기 위해.
• 다양한 출판사와 기관 간의 사용 데이터 수집에서 발생하는 표본 편향을 조사하고 완화하기 위해.
• 기존의 인용 기반 지표와 비교하여 사용 기반 지표의 신뢰성과 타당성을 검증하기 위해.
• 기존의 영향력 지수(예: 저널 영향력 지수)를 대체하거나 보완할 수 있는 실시간 사용 기반 대체 지표의 실현 가능성을 탐색하기 위해.

제안 방법

• 14개의 주요 출판사, 집계 기관, 기관 연합체로부터 약 10억 건의 사용 이벤트를 집계하였으며, 이는 문헌 기반 및 인용 메타데이터를 포함한다.
• 다양한 지표 간 비교를 위한 '평등한 경기장' 역할을 하는 종합적인 기준 데이터셋을 구축하였다.
• 학술적 영향력을 사용 패턴을 통해 모델링하기 위해 PageRank 및 중심성 중앙성과 같은 네트워크 분석 기법을 적용하였다.
• 사용 기반 및 인용 기반 지표 간 상호관계와 잠재적 차원을 평가하기 위해 주성분 분석(PCA)을 실시하였다.
• 사용 데이터를 활용하여 과학을 시각화하고 학술 네트워크의 구조를 분석함으로써 사용 기반 지표의 의미 있는 정도를 검증하였다.
• 다양한 영향 지표 간 수렴성과 상관관계를 평가하기 위해 스피어만 순서 상관계수를 사용하였다.

실험 결과

연구 질문

• RQ1 대규모 학술적 사용 데이터는 신뢰성 있게 집계되고 기반 지표로 검증될 수 있는가?
• RQ2 사용 기반 지표는 기존의 인용 기반 지표(예: 영향력 지수)와 비교해 신뢰성과 타당성 면에서 뛰어나게 되는가?
• RQ3 사용 기반 네트워크 지표(예: 중심성, PageRank)는 인용 기반 명성 지표와 어느 정도 상관관계가 있는가?
• RQ4 사용 네트워크는 인용 네트워크에 비해 학술적 영향을 모델링할 때 어떤 구조적 및 표현적 우월성이 있는가?
• RQ5 사용 데이터는 인용 패턴에 반영되지 않는 별개 또는 보완적인 학술적 영향 차원을 포착하는가?

주요 결과

• MESUR 기준 데이터셋은 2억 건이 넘는 기사 수준의 사용 이벤트를 포함하며, 이는 현재까지 알려진 바에서 가장 큰 규모의 데이터셋이다.
• 사용 기반 지표인 중심성 중앙성은 인용 기반 중심성 중앙성과 스피어만 상관계수 0.71(p < 0.001)를 보이며, 학술적 명성 측정에서 강력한 일치를 보임을 시사한다.
• 인용 기반 중심성과 가까움 중심성 간 상관계수는 뿐다 0.47(p < 0.001)로, 인용 지표 자체 간의 일관성 부족을 시사한다.
• 사용 기반 지표는 인용 기반 지표보다 더 높은 내부 일관성과 수렴성을 보이며, 이는 사용 네트워크의 더 높은 밀도와 richer 구조 때문일 가능성이 크다.
• 저널 사용 네트워크는 데이터 밀도, 연결성, 구조적 복잡성 면에서 인용 네트워크를 초월하며, 이는 다학제적 과학을 모델링하는 데 유용함을 뒷받침한다.
• PCA 결과는 사용 기반 지표가 서로 뭉쳐져 있으며, 기존의 영향력 지수와는 다른데도 의미 있는 명성 개념을 반영하는 별개의 영향 차원을 형성하고 있음을 시사한다.