[논문 리뷰] Do Mendeley readership counts help to filter highly cited WoS publications better than average citation impact of journals (JCS)?

Zohreh Zahedi, Rodrigo Costas외 1명|arXiv (Cornell University)|2015. 07. 08.

scientometrics and bibliometrics research참고 문헌 3인용 수 7

한 줄 요약

이 연구는 Mendeley 독자 수 카운트가 기존의 저널 피인용 점수(JCS)보다 웹오브사이언스(WoS) 저널에 게재된 고도로 인용된 논문을 식별하는 데 더 뛰어나다는지를 평가한다. 다섯 가지 과학 분야의 데이터를 바탕으로, 모든 학문 분야와 대부분의 사용자 유형에서 Mendeley 독자 수는 JCS보다 상위 10퍼센트 인용 논문을 더 효과적으로 탐지하며, 더 빠른 반응 속도와 과학적 사용자들 사이에서 피인용과의 강한 상관관계를 보인다.

ABSTRACT

In this study, the academic status of users of scientific publications in Mendeley is explored in order to analyse the usage pattern of Mendeley users in terms of subject fields, citation and readership impact. The main focus of this study is on studying the filtering capacity of Mendeley readership counts compared to journal citation scores in detecting highly cited WoS publications. Main finding suggests a faster reception of Mendeley readerships as compared to citations across 5 major field of science. The higher correlations of scientific users with citations indicate the similarity between reading and citation behaviour among these users. It is confirmed that Mendeley readership counts filter highly cited publications (PPtop 10%) better than journal citation scores in all subject fields and by most of user types. This result reinforces the potential role that Mendeley readerships could play for informing scientific and alternative impacts.

연구 동기 및 목표

• Mendeley 독자 수 카운트가 기존의 저널 피인용 점수(JCS)보다 높은 인용 논문을 더 잘 식별할 수 있는지 평가하기 위해.
• 다양한 과학 분야에서 Mendeley 사용자의 학술적 배경과 사용 패턴을 분석하기 위해.
• 웹오브사이언스 데이터베이스 내 상위 인용 논문을 탐지하는 데 있어 Mendeley 독자 수와 JCS의 필터링 능력을 비교하기 위해.
• 유명한 과학적 저작물을 식별하는 데 있어 독자 수와 피인용 수의 시간적 동태를 평가하기 위해.
• Mendeley 독자 수가 과학적 영향력의 대체 지표로 활용될 잠재력을 탐색하기 위해.

제안 방법

• 웹오브사이언스(WoS) 데이터베이스에서 다섯 가지 주요 과학 분야의 논문에 대한 Mendeley 독자 수 데이터와 피인용 수를 수집하였다.
• 사용자의 학술적 신분과 프로필 정보를 기반으로 Mendeley 사용자를 분류(예: 과학적, 비과학적)하였다.
• 저널 피인용 점수(JCS)를 해당 논문이 게재된 저널들의 평균 피인용 영향력을 계산하여 산정하였다.
• 각 분야에서 Mendeley 독자 수 카운트와 JCS가 상위 10퍼센트 인용 논문을 식별하는 능력을 비교하였다.
• 특히 과학적 사용자들 사이에서 독자 수와 피인용 수 간의 상관관계를 분석하였다.
• 논문 게시 후 첫 독자 수와 첫 피인용 사이의 시간 차이를 평가하여 수신 속도를 분석하였다.

실험 결과

연구 질문

• RQ1 Mendeley 독자 수 카운트는 웹오브사이언스(WoS) 논문 중 상위 10퍼센트 인용 논문을 식별하는 데 JCS보다 뛰어나게 작용하는가?
• RQ2 다양한 사용자 유형, 특히 과학적 사용자들 사이에서 Mendeley 독자 수와 피인용 수 간의 상관관계는 어떻게 달라지는가?
• RQ3 Mendeley 독자 수 수신 패턴은 피인용 축적과 비교해 어떤 시간적 패턴을 보이는가?
• RQ4 Mendeley 독자 수 카운트는 다양한 과학 분야에서 과학적 영향력을 어느 정도 반영하는가?
• RQ5 Mendeley 독자 수는 전통적인 저널 수준 지표보다 신뢰성 있고 더 빠른 과학적 영향 지표로 기능할 수 있는가?

주요 결과

• Mendeley 독자 수 카운트는 다섯 가지 주요 과학 분야 전반에서 JCS보다 상위 10퍼센트 인용 WoS 논문을 더 효과적으로 탐지한다.
• 과학적 사용자들은 독서 행동과 피인용 패턴 간에 높은 상관관계를 보이며, 독서 행동과 피인용 행동이 일치함을 시사한다.
• Mendeley 독자 수는 피인용보다 더 빠른 수신 시간을 보이며, 논문 생명주기 초반에 신호가 먼저 나타난다.
• 대부분의 사용자 유형에서 Mendeley 독자 수의 필터링 능력은 JCS를 뛰어넘으며, 보완적 영향력 지표로서의 잠재력을 강화한다.
• 이 연구는 Mendeley 독자 수가 특히 고영향력 논문의 조기 탐지에 강력한 지표임을 확인한다.
• 결과는 Mendeley 독자 수를 대체 지표(altmetrics) 프레임워크에 통합하여 연구 영향력을 평가하는 데 유용하다는 것을 뒷받침한다.