[논문 리뷰] Altmetrics (Chapter from Beyond Bibliometrics: Harnessing Multidimensional Indicators of Scholarly Impact)

Jason Priem|arXiv (Cornell University)|2015. 07. 06.

scientometrics and bibliometrics research참고 문헌 50인용 수 14

한 줄 요약

이 논문은 Mendeley, 트위터, 블로그와 같은 플랫폼에서의 온라인 참여를 추적함으로써 전통적인 인용 외의 다차원적 접근 방식으로 학술적 영향을 측정하는 앨트메트릭스(altmetrics)를 소개한다. 앨트메트릭스가 초기 연구자 연구 및 다학문적 연구에서 더 넓고 실시간적인 영향을 포착할 수 있음을 보여주며, 그 적용 및 해석에 있어 제한점과 향후 연구의 필요성도 밝혀낸다.

ABSTRACT

This chapter discusses altmetrics (short for "alternative metrics"), an approach to uncovering previously-invisible traces of scholarly impact by observing activity in online tools and systems. I argue that citations, while useful, miss many important kinds of impacts, and that the increasing scholarly use of online tools like Mendeley, Twitter, and blogs may allow us to measure these hidden impacts. Next, I define altmetrics and discuss research on altmetric sources--both research mapping the growth of these sources, and scientometric research measuring activity on them. Following a discussion of the potential uses of altmetrics, I consider the limitations of altmetrics and recommend areas ripe for future research.

연구 동기 및 목표

• 전통적 문헌학적 지표가 학술적 영향의 전체 범위를 포착하는 데에 한계가 있음을 해결하기 위해.
• 소셜 미디어 및 참조 관리자와 같은 온라인 지표의 형태로 학술적 영향을 특정하고 분석하기 위해.
• 앨트메트릭스가 초기 연구자 연구 영향과 다학문적 영향을 측정하는 데서의 잠재력을 평가하기 위해.
• 과학적 평가 맥락에서 앨트메트릭스 자료의 신뢰성과 타당성을 평가하기 위해.
• 앨트메트릭스 방법론을 향상시키고 연구 평가에 통합하기 위한 향후 연구 방향을 제시하기 위해.

제안 방법

• 논문은 Mendeley, 트위터, 블로그와 같은 플랫폼에서 유도되는 디지털 학술 참여 흔적을 앨트메트릭스로 정의한다.
• 학문 분야 전반에서 앨트메트릭스 자료의 성장과 도입에 관한 기존 연구를 검토한다.
• 앨트메트릭스 플랫폼에서의 활동 수준을 측정하는 과학적 지표 연구를 분석하여 기존의 영향 지표와의 상관관계를 평가한다.
• 다양한 온라인 소스에서의 활동 데이터를 집계하고 정규화하여 통합된 영향 점수로 변환하는 방법을 사용한다.
• 앨트메트릭스의 시의성, 세밀도, 다양한 연구 산출물에 대한 민감도를 고려하여 연구 평가에의 적용 가능성을 평가한다.
• 앨트메트릭스의 한계, 예를 들어 잠재적 편향과 표준화 부족과 같은 점들을 비판적으로 반영한다.

실험 결과

연구 질문

• RQ1 앨트메트릭스는 학술적 영향을 측정하는 데 있어 전통적인 인용 기반 지표를 어떻게 보완하거나 확장하는가?
• RQ2 어떤 유형의 학술 산출물과 연구 공동체에서 앨트메트릭스 참여 수준이 가장 높은가?
• RQ3 앨트메트릭스 점수는 인용 수나 저널 임팩트 요인과 같은 전통적 영향 지표와 어느 정도 상관관계가 있는가?
• RQ4 앨트메트릭스를 연구 평가에 사용할 때 발생하는 방법론적 및 해석적 과제는 무엇인가?
• RQ5 앨트메트릭스 기반 영향 평가의 신뢰성과 공정성을 향상시키기 위해 어떤 향후 연구가 필요한가?

주요 결과

• 앨트메트릭스는 전통적인 인용보다 더 이르고 광범위하게 학술적 영향을 포착한다. 특히 데이터셋과 소프트웨어와 같은 비전통적 산출물에 특히 그렇다.
• Mendeley나 트위터와 같은 플랫폼에서의 참여는 특히 온라인 존재감이 강한 분야에서 널리 퍼지고 초기 영향을 나타내는 데 관련이 있다.
• 앨트메트릭스 점수는 분야 간에 상당한 변동성을 보이며, 생명과학 및 사회과학 분야에서 인문학 분야보다 활동 수준이 높다.
• 논문은 앨트메트릭스에서 잠재적 편향, 예를 들어 유명 연구자들의 과도한 대표성과 플랫폼별 사용자 인구통계의 편향을 밝혀낸다.
• 앨트메트릭스가 실시간 주목과 대중 참여를 반영하고 있음에 강력한 증거가 있지만, 장기적 영향에 대한 예측 능력은 여전히 불확실하다.
• 앨트메트릭스 기반 평가의 신뢰성과 공정성을 향상시키기 위해 표준화된 방법론과 투명한 데이터 출처가 필요하다고 연구는 주장한다.