[논문 리뷰] Altmetrics of "altmetrics" using Google Scholar, Twitter, Mendeley, Facebook, Google-plus, CiteULike, Blogs and Wiki

Saeed‐Ul Hassan, Uzair Gillani|arXiv (Cornell University)|2016. 03. 25.

Expert finding and Q&A systemsComputer Science참고 문헌 15인용 수 19

한 줄 요약

이 연구는 2010–2014년 동안 Google Scholar, Twitter, Mendeley, Facebook, Google+, CiteULike, 블로그, 위키백과에서 수집한 데이터를 활용하여 '알트메트릭스(altmetrics)' 분야의 과학적 논문 사회적 영향을 측정하기 위해 알트-인덱스(alt-index)를 제안한다. 사회적 영향 지표 간에 높은 상관관계가 발견되었으며, 사회적 인용과 학술적 인용 간의 강한 연관성(r = .646)이 확인되었고, 전통적 인용보다 사회적 인용이 42.2% 더 흔하게 관찰되었으며, 특히 트위터와 Mendeley가 알트메트릭스 확산에 가장 효과적인 플랫폼으로 밝혀졌다.

ABSTRACT

We measure the impact of "altmetrics" field by deploying altmetrics indicators using the data from Google Scholar, Twitter, Mendeley, Facebook, Google-plus, CiteULike, Blogs and Wiki during 2010- 2014. To capture the social impact of scientific publications, we propose an index called alt-index, analogues to h-index. Across the deployed indices, our results have shown high correlation among the indicators that capture social impact. While we observe medium Pearson's correlation ( {ho}= .247) among the alt-index and h-index, a relatively high correlation is observed between social citations and scholarly citations ( {ho}= .646). Interestingly, we find high turnover of social citations in the field compared with the traditional scholarly citations, i.e. social citations are 42.2 % more than traditional citations. The social mediums such as Twitter and Mendeley appear to be the most effective channels of social impact followed by Facebook and Google-plus. Overall, altmetrics appears to be working well in the field of "altmetrics".

연구 동기 및 목표

• 비전통적 인용 자료를 활용하여 '알트메트릭스(altmetrics)' 분야의 과학적 논문 사회적 영향을 평가하기 위해.
• 기존의 h-인덱스와 유사한 사회적 영향 측정 지표인 알트-인덱스를 개발하고 검증하기 위해.
• 사회적 인용과 전통적 학술적 인용의 규모와 동적 특성을 비교하기 위해.
• 다양한 소셜 미디어 및 웹 플랫폼의 과학적 영향 확산에 대한 상대적 효과를 평가하기 위해.
• 알트메트릭스 지표와 전통적 인용 지표 간의 상관관계를 조사하기 위해.

제안 방법

• 저자들은 2010년부터 2014년까지 '알트메트릭스(altmetrics)' 분야의 논문에 대해 Google Scholar, Twitter, Mendeley, Facebook, Google+, CiteULike, 블로그, 위키백과에서 8개 플랫폼의 알트메트릭스 데이터를 수집하였다.
• 알트-인덱스는 소셜 미디어 및 웹 언급을 기반으로 한 논문 영향력을 수량화하기 위해, h-인덱스와 유사한 사회적 영향 측정 지표로 개발되었다.
• 알트-인덱스와 기존 h-인덱스 간의 관계, 그리고 사회적 인용과 학술적 인용 간의 관계를 평가하기 위해 피어슨 상관계수를 계산하였다.
• 동일한 논문들을 대상으로 총 사회적 인용 수와 전통적 인용 수를 비교하여 인용 전환율을 분석하였다.
• 각 매체에서의 언급 빈도와 규모를 비교하여 플랫폼별 영향력을 평가하였다.
• 연구 분석은 관련성 있는 맥락을 확보하고 관련 없는 분야의 잡음을 줄이기 위해 '알트메트릭스(altmetrics)' 분야와 관련된 논문에 집중하였다.

실험 결과

연구 질문

• RQ1 제안된 알트-인덱스는 과학적 영향 측정에서 기존의 h-인덱스와 어떻게 상관관계를 가지는가?
• RQ2 트위터 및 Mendeley와 같은 플랫폼에서의 사회적 인용과 전통적 학술적 인용 간의 관계는 어떠한가?
• RQ3 '알트메트릭스(altmetrics)' 분야에서 사회적 인용의 규모는 전통적 인용과 비교해 어떻게 되는가?
• RQ4 어느 소셜 미디어 플랫폼이 과학적 논문의 사회적 영향에 가장 크게 기여하는가?
• RQ5 알트메트릭스 지표는 알트메트릭스 연구의 맥락에서 전통적 인용 패턴과 얼마나 유사하거나 다름을 보이는가?

주요 결과

• 알트-인덱스는 기존의 h-인덱스와 중간 정도의 상관관계(ρ = .247)를 보이며, 사회적 영향과 학술적 영향 측정 간 부분적인 일치를 시사한다.
• 사회적 인용과 학술적 인용 간 상대적으로 높은 상관관계(ρ = .646)가 관찰되어, 소셜 미디어 언급이 종종 학술적 관심을 반영하고 있음을 시사한다.
• 사회적 인용이 전통적 학술적 인용보다 42.2% 더 흔하게 발견되어, 소셜 플랫폼에서의 참여도가 높음을 시사한다.
• 트위터와 Mendeley가 과학적 영향 확산에 가장 효과적인 플랫폼으로 나타났으며, 그 다음으로 페이스북과 구글플러스가 뒤이었다.
• 다양한 디지털 자원을 활용한 사회적 영향 측정에서 플랫폼 간 알트메트릭스 지표 간 높은 상관관계가 확인되어 일관성 있는 측정이 가능함을 시사한다.
• 본 연구는 알트메트릭스가 '알트메트릭스(altmetrics)' 분야에서 효과적임을 확인하였으며, 다양한 플랫폼 간 강력한 신호 일관성이 있음을 보여준다.