[논문 리뷰] Altmetrics in the wild: Using social media to explore scholarly impact

Jason Priem, Heather Piwowar외 1명|arXiv (Cornell University)|2012. 03. 20.

scientometrics and bibliometrics research인용 수 356

한 줄 요약

이 연구는 Mendeley, Twitter, 위키백과와 같은 소셜 미디어 플랫폼의 앨트메트릭스를 분석하여 전통적 인용 외의 학술적 영향을 평가한다. 연구 결과 앨트메트릭스는 특히 독자 참여와 공유와 같은 다각적이고 독립적인 영향 형태를 포착하며, 이는 인용 지표를 보완한다. 전체 기사의 약 80%가 Mendeley 라이브러리에 저장되었고, 25%는 다섯 개 이상의 출처에서 데이터를 생성하였다.

ABSTRACT

In growing numbers, scholars are integrating social media tools like blogs, Twitter, and Mendeley into their professional communications. The online, public nature of these tools exposes and reifies scholarly processes once hidden and ephemeral. Metrics based on this activities could inform broader, faster measures of impact, complementing traditional citation metrics. This study explores the properties of these social media-based metrics or "altmetrics", sampling 24,331 articles published by the Public Library of Science. We find that that different indicators vary greatly in activity. Around 5% of sampled articles are cited in Wikipedia, while close to 80% have been included in at least one Mendeley library. There is, however, an encouraging diversity; a quarter of articles have nonzero data from five or more different sources. Correlation and factor analysis suggest citation and altmetrics indicators track related but distinct impacts, with neither able to describe the complete picture of scholarly use alone. There are moderate correlations between Mendeley and Web of Science citation, but many altmetric indicators seem to measure impact mostly orthogonal to citation. Articles cluster in ways that suggest five different impact "flavors", capturing impacts of different types on different audiences; for instance, some articles may be heavily read and saved by scholars but seldom cited. Together, these findings encourage more research into altmetrics as complements to traditional citation measures.

연구 동기 및 목표

• 소셜 미디어 및 온라인 학술 도구에서 유래한 앨트메트릭스의 성질과 분포를 분석하기 위해.
• 앨트메트릭스가 학술적 영향을 측정하는 데 있어 전통적 인용 지표와 어떻게 비교되는지 평가하기 위해.
• 앨트메트릭스가 독립적인 영향 차원을 반영하는지, 또는 중첩된 영향을 반영하는지를 확인하기 위해.
• 다양한 앨트메트릭스 출처의 패턴을 분석하여 학술적 영향의 다양성을 탐색하기 위해.

제안 방법

• 공개도서관학술협회(PLOS)에서 출간한 24,331편의 기사를 샘플로 선정하여 다양한 플랫폼에서의 앨트메트릭스 데이터를 분석하였다.
• 위키백과 인용, Mendeley 라이브러리 저장, 트위터 언급, 블로그 참조 등 다양한 출처에서 데이터를 수집하였다.
• 앨트메트릭스와 전통적 인용 수(예: 웹 오브 사이언스) 간의 관계를 평가하기 위해 상관관계 분석 및 요인 분석을 사용하였다.
• 군집 분석을 통해 학술적 영향의 고유한 패턴을 규명하였으며, 이는 청중과 플랫폼에 따라 다섯 가지의 '맛'을 가진 영향이 존재함을 시사한다.
• 다양성과 커버리지 평가를 위해 다양한 앨트메트릭스 출처에서 비영제 활동을 보인 기사의 비율을 정량화하였다.

실험 결과

연구 질문

• RQ1 다양한 종류의 앨트메트릭스 활동(예: Mendeley 저장, 위키백과 인용)이 학술 기사 전반에 얼마나 널리 퍼져 있는가?
• RQ2 앨트메트릭스가 웹 오브 사이언스 인용 지표와 얼마나 관련이 깊은가?
• RQ3 앨트메트릭스는 인용 수와 수직적인 영향을 측정하는가, 아니면 주로 동일한 학술적 영향을 반영하는가?
• RQ4 앨트메트릭스 패턴을 기반으로 학술적 영향의 고유한 군집을 식별할 수 있는가, 이는 다양한 청중 참여 유형을 나타내는가?

주요 결과

• 샘플링된 PLOS 기사의 약 80%가 적어도 한 곳 이상의 Mendeley 라이브러리에 저장되어 있어 독자 참여 수준이 높음을 시사한다.
• 기사의 약 5%만이 위키백과에 인용되어 있어, 위키백과 인용은 다른 앨트메트릭스 지표에 비해 비교적 드문 것으로 나타났다.
• 기사의 1/4이 다섯 개 이상의 다른 앨트메트릭스 출처에서 비영제 활동 데이터를 생성하여, 영향 측정의 상당한 다양성을 보여주었다.
• Mendeley 사용은 웹 오브 사이언스 인용 수와 중간 정도의 상관관계를 보였지만, 많은 앨트메트릭스 지표는 인용 지표와 거의 독립적인 영향을 측정하고 있었다.
• 요인 분석 및 군집 분석을 통해 다섯 가지의 고유한 '맛'을 가진 학술적 영향이 확인되었으며, 이는 기사가 인용되지 않더라도 학자들 사이에서 널리 읽히고 저장될 수 있음을 시사한다.