[논문 리뷰] How well developed are Altmetrics? Cross-disciplinary analysis of the presence of alternative metrics in scientific publications?

Zohreh Zahedi, Rodrigo Costas외 1명|arXiv (Cornell University)|2014. 02. 21.

scientometrics and bibliometrics research인용 수 9

한 줄 요약

이 연구는 20,000개의 Web of Science 논문 데이터를 바탕으로 과학 분야 전반에서 앨트메트릭스의 개발 및 활용도를 평가한다. Mendeley가 가장 포괄적인 앨트메트릭스 데이터를 제공함을 발견하였으며(62.6% 커버리지), Mendeley 독자 수와 인용 수 사이에 중간 정도의 상관관계(r=0.49)가 있음을 확인하여, 앨트메트릭스가 성과 평가에 있어 잠재력과 한계를 동시에 드러낸다.

ABSTRACT

In this paper an analysis of the presence and possibilities of altmetrics for bibliometric and performance analysis is carried out. Using the web based tool Impact Story, we collected metrics for 20,000 random publications from the Web of Science. We studied both the presence and distribution of altmetrics in the set of publications, across fields, document types and over publication years, as well as the extent to which altmetrics correlate with citation indicators. The main result of the study is that the altmetrics source that provides the most metrics is Mendeley, with metrics on readerships for 62.6% of all the publications studied, other sources only provide marginal information. In terms of relation with citations, a moderate spearman correlation (r=0.49) has been found between Mendeley readership counts and citation indicators. Other possibilities and limitations of these indicators are discussed and future research lines are outlined.

연구 동기 및 목표

• 과학 논문에서 대체 지표(앨트메트릭스)의 현재 개발 및 가용성 수준을 평가하기 위해.
• 학문 분야, 문서 유형, 출판 연도에 따라 앨트메트릭스의 분포 및 존재 여부를 조사하기 위해.
• 앨트메트릭스와 전통적인 인용 기반 지표 간의 상관관계를 평가하기 위해.
• 앨트메트릭스의 강점, 한계 및 향후 연구 방향을 백업 기반 및 성과 분석 분야에서 규명하기 위해.

제안 방법

• 연구자는 ImpactStory 웹 기반 도구를 사용하여 Web of Science 데이터베이스에서 무작위로 선정된 20,000篇의 논문에 대해 앨트메트릭스 데이터를 수집하였다.
• 앨트메트릭스는 Mendeley, 트위터, 뉴스 매체 등 다양한 출처에서 수집하여 그 존재성과 분포를 평가하였다.
• 연구진은 2000년에서 2012년 사이의 22개 학문 분야, 다양한 문서 유형 및 출판 연도에 걸쳐 앨트메트릭스의 빈도와 분포를 분석하였다.
• Mendeley 독자 수와 인용 수 간의 관계를 측정하기 위해 스피어만 순위 상관계수를 사용하였다.
• 분석은 주로 앨트메트릭스의 주요 원천을 파악하고, 분야 간 커버리지 및 신뢰성 여부를 평가하는 데 집중하였다.
• 정성적 및 정량적 평가를 통합하여 앨트메트릭스의 잠재력과 한계를 연구 평가 분야에서 평가하였다.

실험 결과

연구 질문

• RQ1 다양한 과학 분야와 논문 유형에서 앨트메트릭스는 얼마나 널리 보급되어 있는가?
• RQ2 어느 앨트메트릭스 원천이 과학 논문에 대해 가장 포괄적인 데이터 커버리지를 제공하는가?
• RQ3 앨트메트릭스는 전통적인 인용 지표와 어느 정도 상관관계가 있는가?
• RQ4 앨트메트릭스의 존재 및 분포는 시간이 지남에 따라, 학문 분야에 따라 어떻게 변화하는가?
• RQ5 연구 평가 분야에서 앨트메트릭스의 주요 한계와 향후 연구 필요성은 무엇인가?

주요 결과

• Mendeley는 연구 대상 20,000편의 논문 중 62.6%에 대해 독자 수 데이터를 제공하여 가장 주요한 앨트메트릭스 원천이 되었다.
• 트위터나 뉴스 기사 언급과 같은 다른 앨트메트릭스 원천들은 기여도가 훨씬 낮았으며, 논문 간 데이터 가용성이 극히 제한적이었다.
• Mendeley 독자 수와 인용 수 사이에 중간 정도의 양의 상관관계(Spearman r = 0.49)가 발견되었다.
• 앨트메트릭스의 분포는 학문 분야에 따라 크게 달라졌으며, 사회과학 및 생명과학 분야에서 물리과학 분야보다 더 높은 커버리지가 나타났다.
• 앨트메트릭스는 시간적 일관성이 낮았으며, 데이터 가용성은 시간이 지남에 따라 증가했지만 여전히 균형 잡히지 않은 분포를 보였다.
• 연구는 표준화된 데이터 수집 및 앨트메트릭스 지표의 다학제적 검증 향상이 필요하다고 지적하였다.