[논문 리뷰] Can we use altmetrics at the institutional level? A case study analysing the coverage by research areas of four Spanish universities

Daniel Torres-Salinas, Nicolás Robinson‐García외 1명|arXiv (Cornell University)|2016. 06. 01.

scientometrics and bibliometrics research인용 수 6

한 줄 요약

이 연구는 스페인의 네 곳의 대학에서 기관 연구 프로파일링에 앨트메트릭스를 사용하는 것이 가능한지 평가한다. 웹 오브 사이언스 문서에서 앨트메트릭스 커버리지가 낮은 편(36%)임을 발견했으며, 특히 과학, 기술, 공학 및 수학(STEM) 분야에서 앨트메트릭스 참여가 뚜렷이 높아, 연구자들이 소셜 미디어에서 자신의 연구를 적극적으로 홍보하지 않는 한 기관적 활용도가 제한적임을 시사한다.

ABSTRACT

Social media based indicators or altmetrics have been under scrutiny for the last seven years. Their promise as alternative metrics for measuring scholarly impact is still far from becoming a reality. Up to now, most studies have focused on the understanding of the nature and relation of altmetric indicators with citation data. Few papers have analysed research profiles based on altmetric data. Most of these have related to researcher profiles and the expansion of these tools among researchers. This paper aims at exploring the coverage of the Altmetric.com database and its potential use in order to show universities' research profiles in relationship with other databases. We analyse a sample of four different Spanish universities.First, we observe a low coverage of altmetric indicators with only 36 percent of all documents retrieved from the Web of Science having an 'altmetric' score. Second, we observe that for the four universities analysed, the area of Science shows higher 'altmetric' scores that the rest of the research areas. Finally, considering the low coverage of altmetric data at the institutional level, it could be interesting for research policy makers to consider the development of guidelines and best practices guides to ensure that researchers disseminate adequately their research findings through social media.

연구 동기 및 목표

• 스페인의 대학들에서 기관 수준의 앨트메트릭스 지표 커버리지를 평가하기 위해.
• 다양한 연구 분야 간 앨트메트릭스 점수의 변동성을 검토하기 위해.
• 앨트메트릭스가 기관 연구 영향력을 대변하는 데 잠재력을 갖추고 있는지 평가하기 위해.
• 앨트메트릭스 가시성에 영향을 주는 연구자들의 홍보 관행 격차를 특정하기 위해.
• 소셜 미디어에서 연구 홍보를 향상시키기 위한 지침을 제안함으로써 연구 정책을 지원하기 위해.

제안 방법

• 연구는 스페인의 네 곳의 대학에서 웹 오브 사이언스 데이터베이스를 통해 확보한 문서 샘플을 분석하였다.
• 앨트메트릭스 점수는 앨트메트릭스 데이터베이스를 사용하여 문서와 매칭하여 수집하였다.
• 연구 분야는 표준 분류 체계에 따라 분류되었으며, 특히 STEM 대비 비-STEM 분야에 중점을 두었다.
• 커버리지는 최소한 하나의 앨트메트릭스 점수를 가진 웹 오브 사이언스 문서의 비율로 계산되었다.
• 차이를 식별하기 위해 연구 분야 간 앨트메트릭스 점수의 비교 분석을 수행하였다.
• 기초 통계 및 횡단적 비교를 사용하여 기관 및 학문적 패턴을 평가하였다.

실험 결과

연구 질문

• RQ1 스페인의 네 곳의 대학에서 발행된 문서들 간 앨트메트릭스 지표의 총 커버리지는 어느 정도인가?
• RQ2 앨트메트릭스 점수는 특히 STEM 분야와 비-STEM 분야 간에 어떻게 다름이 있는가?
• RQ3 앨트메트릭스는 얼마나 신뢰성 있게 대규모 기관 연구 프로파일을 대변할 수 있는가?
• RQ4 일부 분야에서 낮은 앨트메트릭스 커버리지를 설명할 수 있는 요인들은 무엇인가?
• RQ5 기타 연구 홍보나 정책 제안을 통해 앨트메트릭스 가시성을 향상시킬 수 있는 방법은 무엇인가?

주요 결과

• 네 곳의 대학에서 웹 오브 사이언스에서 확보한 문서 중 단 36%만이 최소한 하나의 앨트메트릭스 점수를 확보하였다.
• 과학 분야(특히 STEM)는 다른 연구 분야에 비해 뚜렷이 높은 앨트메트릭스 점수를 보였다.
• 비-STEM 분야에서는 앨트메트릭스 참여가 뚜렷이 낮아 소셜 미디어 가시성에 학문적 편향이 있음을 시사한다.
• 낮은 총 커버리지 수준은 앨트메트릭스가 아직 종합적인 기관 연구 프로파일링에 신뢰할 만하지 않음을 시사한다.
• 연구자들의 홍보 관행 격차, 특히 비-STEM 분야에서의 격차를 연구가 드러냈다.
• 저자들은 연구 결과물을 일관되게 소셜 미디어에 공유할 수 있도록 기관 지침을 수립할 것을 권고한다.