[논문 리뷰] Toward alternative metrics of journal impact: A comparison of download and citation data

Johan Bollen, Herbert Van de Sompel외 2명|ArXiv.org|2005. 03. 03.

Web visibility and informetrics참고 문헌 43인용 수 6

한 줄 요약

이 논문은 전통적인 인용 기반 지표인 ISI 영향력 지수와 비교하여 다운로드 기반 사회망 지표를 대안적 저널 영향력 지표로 사용하는 것을 제안한다. 다운로드 유형의 네트워크는 전통적인 글로벌 인용 중심의 ISI IF와는 크게 다름을 보이며, 지역적으로 관련성이 있는 저널 영향력의 형태를 드러내며, 사용자 데이터가 학술적 영향력에 대한 보완적이고 구조적으로 정보를 제공하는 시각을 제공한다.

ABSTRACT

We generated networks of journal relationships from citation and download data, and determined journal impact rankings from these networks using a set of social network centrality metrics. The resulting journal impact rankings were compared to the ISI IF. Results indicate that, although social network metrics and ISI IF rankings deviate moderately for citation-based journal networks, they differ considerably for journal networks derived from download data. We believe the results represent a unique aspect of general journal impact that is not captured by the ISI IF. These results furthermore raise questions regarding the validity of the ISI IF as the sole assessment of journal impact, and suggest the possibility of devising impact metrics based on usage information in general.

연구 동기 및 목표

• 인용 기반의 ISI 영향력 지수를 초월한 저널 영향력에 대한 대안적 지표를 탐색하기 위해.
• 디지털 라이브러리의 다운로드 패턴이 의미 있는, 구조적으로 정보를 반영한 저널 영향력 순위를 생성할 수 있는지 조사하기 위해.
• 이러한 사용 기반 순위를 널리 사용되는 ISI 영향력 지수 및 인용 기반 네트워크 지표와 비교하기 위해.
• 다운로드 기반 지표가 저널 영향력의 광범위한 개념(Ig)을 운영적으로 표현할 때 타당성과 보완성을 갖는지 평가하기 위해.

제안 방법

• 저널 인용 기록(JCR)에서 저자 생성 네트워크(AGN)를 구축하여 인용 기반 저널 관계를 모델링하기 위해.
• 디지털 라이브러리의 순차적 다운로드 로그에서 독자 생성 네트워크(RGN)를 구축하고, 자료 획득 일致성 가정을 적용하여 저널 간 관계를 추론하기 위해.
• 양쪽 네트워크(AGN 및 RGN)에 사회망 중심성 지표(예: 고유벡터 중심성)를 적용하여 저널 영향력 순위를 도출하기 위해.
• RGN과 AGN의 순위를 ISI 영향력 지수와 비교하여 분산 및 상관관계를 평가하기 위해.
• 모든 지표 간 비교를 위해 ISI JCR에 속한 저널의 대표 샘플을 사용하여 비교 가능성을 확보하기 위해.
• OAI-PMH와 같은 표준을 통해 기관 간 사용 데이터를 집계하는 확장 가능한 프레임워크를 제안하여 글로벌 범위의 RGN을 구축하기 위해.

실험 결과

연구 질문

• RQ1 다운로드 데이터에서 유도된 저널 영향력 순위는 인용 기반 및 ISI 영향력 지수와 어떻게 비교되는가?
• RQ2 다운로드 기반 네트워크에 적용된 사회망 중심성 지표가 타당하고 의미 있는 저널 영향력 형태를 반영하는 정도는 어느 정도인가?
• RQ3 사용 기반 지표는 ISI IF와 같은 인용 기반 지표가 놓치는 저널 영향력의 요소를 포착할 수 있는가?
• RQ4 RGN(다운로드 기반 네트워크)의 구조적 특성은 AGN(인용 기반 네트워크)과 어떻게 다름을 보이는가?
• RQ5 지역적인 디지털 라이브러리 커뮤니티의 사용 데이터는 글로벌 범위의 저널 영향력 지표로 일반화될 수 있는가?

주요 결과

• 다운로드 데이터에서 유도된 저널 영향력 순위(RGN)는 ISI 영향력 지수와 상당한 이질성을 보이며, 영향력에 대한 지역적이고 독립적인 시각을 드러낸다.
• 인용 기반 네트워크(AGN)에 적용된 사회망 중심성 지표는 ISI IF와 강한 상관관계를 보이며, 전통적 영향력 측정에의 타당성을 입증한다.
• 다운로드 기반 네트워크는 인용 수로는 포착되지 않은 저널 영향력의 구조적 패턴을 드러내며, 학술적 영향력의 다른 차원을 시사한다.
• 연구 결과는 지역 독자 커뮤니티가 ISI IF가 반영하는 글로벌 합의와는 다를 수 있는 저널 영향력에 대한 시각을 가질 수 있음을 보여준다.
• 결과적으로, 특히 디지털 라이브러리 로그에서 유도된 사용 데이터는 ISI IF에 흡수되지 않는 의미 있는 대안적 저널 영향력 지표를 제공할 수 있음을 시사한다.
• 저자는 기관 간 공유된 사용 로그를 기반으로 글로벌 범위로 집계된 RGN을 구축함으로써 새로운, 개방적이며 보다 포괄적인 영향력 지표를 도출할 수 있을 것으로 제안한다.