[논문 리뷰] Ranking Journals Using Altmetrics

Tamar Loach, Tim Evans|arXiv (Cornell University)|2015. 07. 02.

Complex Network Analysis Techniques인용 수 8

한 줄 요약

이 논문은 전통적인 인용 기반 지표의 대안으로 학술 저널의 영향력을 평가하기 위해 소셜 미디어, 뉴스, 블로그에서의 학술 논문 언급 수인 앨트메트릭스를 활용할 것을 제안한다. Mendeley 및 유사 플랫폼의 데이터를 바탕으로 저자들은 다양한 순위 매기기 방법을 평가하였으며, 접근 방식 간에 강력한 일관성이 있음을 발견하여, 앨트메트릭스가 인용 수를 초월한 다른 시각성 차원을 반영하면서도 신뢰성 있게 저널 영향력을 반영할 수 있음을 시사한다.

ABSTRACT

The rank of a journal based on simple citation information is a popular measure. The simplicity and availability of rankings such as Impact Factor, Eigenfactor and SciMago Journal Rank based on trusted commercial sources ensures their widespread use for many important tasks despite the well-known limitations of such rankings. In this paper we look at an alternative approach based on information on papers from social and mainstream media sources. Our data comes from altmetric.com who identify mentions of individual academic papers in sources such as Twitter, Facebook, blogs and news outlets. We consider several different methods to produce a ranking of journals from such data. We show that most (but not all) schemes produce results, which are roughly similar, suggesting that there is a basic consistency between social media based approaches and traditional citation based methods. Most ranking schemes applied to one data set produce relatively little variation and we suggest this provides a measure of the uncertainty in any journal rating. The differences we find between data sources also shows they are capturing different aspects of journal impact. We conclude a small number of such ratings will provide the best information on journal impact.

연구 동기 및 목표

• 소셜 미디어와 뉴스에서 온 앨트메트릭스 데이터가 기존의 인용 기반 저널 영향력 지표와 비교해 실질적인 대안이 될 수 있는지 조사하기.
• 트위터, 페이스북, 블로그, 뉴스 매체 등 다양한 앨트메트릭스 소스에서 유래한 저널 순위의 일관성과 신뢰성 평가하기.
• 다른 데이터 소스를 바탕으로 한 앨트메트릭스 기반 순위가 영향력 지수나 이그레인파워와 같은 기존 지표와 얼마나 관련이 있는지 평가하기.
• 다양한 학문 분야에서 저널 영향력을 측정하는 데 가장 유의미한 앨트메트릭스 소스와 순위 매기기 방법 식별하기.
• 앨트메트릭스 기반 저널 평가의 불확실성과 변동성을 정량화하여 학술 영향 평가의 최선의 실천 방안을 제안하기.

제안 방법

• Altmetric.com 플랫폼을 통해 소셜 미디어(예: 트위터), 뉴스 매체, 블로그, 주요 언론에서 개인 논문에 대한 언급을 추적하여 앨트메트릭스 데이터 수집.
• 논문 수준의 앨트메트릭스 점수를 저널 단위로 집계하여, 평균, 합계, 중앙값 등의 다양한 집계 기법을 사용해 저널 수준의 영향력 점수 계산.
• 총 언급 수, 논문당 평균 언급 수, 정규화된 점수 등 다양한 순위 매기기 기법을 적용하여 저널 간 성능 비교.
• 다양한 데이터 소스와 집계 방법에 따른 변동성을 분석하여 순위의 탄력성 평가.
• 통계 분석을 통해 앨트메트릭스 기반 순위와 기존의 인용 기반 지표(예: 영향력 지수, 이그레인파워) 간 상관관계 평가.
• 앨트메트릭스 데이터의 주요 소스(예: 뉴스, 트위터)를 식별하고, 각 소스가 저널 영향력 측정에 기여하는 방식 평가.

실험 결과

연구 질문

• RQ1 소셜 미디어와 주요 언론에서 온 앨트메트릭스 데이터가 기존의 인용 기반 지표와 유사한 방식으로 학술 저널의 순위를 신뢰성 있게 매길 수 있는가?
• RQ2 트위터와 뉴스 매체 등 다른 앨트메트릭스 데이터 소스에서 유도된 저널 순위는 얼마나 일관한가?
• RQ3 평균, 합계, 중앙값 등의 다양한 집계 방법이 저널 순위에 얼마나 영향을 미치는가?
• RQ4 앨트메트릭스 기반 순위는 기존의 영향력 지수와 같은 인용 기반 지표와 비교해 안정성과 상관관계 면에서 어떻게 다른가?
• RQ5 어느 앨트메트릭스 소스가 저널 영향력 측정에 가장 의미 있게 기여하며, 각 소스는 어떤 시각성 측면을 반영하는가?

주요 결과

• 대부분의 앨트메트릭스 기반 순위 매기기 기법이 매우 유사한 저널 순위를 도출하여, 다양한 방법 간 데이터에 강력한 기초적인 일관성이 있음을 시사한다.
• 뉴스와 트위터 등 서로 다른 데이터 소스 간 저널 점수의 변동성은 각 소스가 저널 영향력의 서로 다른 차원을 반영하고 있음을 시사한다.
• 앨트메트릭스 기반 순위는 기존의 인용 기반 지표와 합리적인 상관관계를 보였지만, 상위권 저널의 순위 배치에서 뚜렷한 차이가 있었다.
• 다양한 기법 간 점수의 상대적 변동성이 낮아 앨트메트릭스 기반 저널 평가에 측정 가능한 수준의 불확실성이 존재하며, 이는 해석 시 고려되어야 함을 시사한다.
• 뉴스 매체와 트위터가 앨트메트릭스 점수에서 가장 영향력 있는 소스로 나타나 전체 저널 시각성 지표에 크게 기여하였다.
• 적절하게 선택된 소수의 앨트메트릭스 지표만으로도 중복 없이 강력하고 정보적인 저널 영향력 평가가 가능하다.