[논문 리뷰] Google Scholar Metrics 2013: nothing new under the sun

Álvaro Cabezas-Clavijo, Emilio Delgado López‐Cózar|arXiv (Cornell University)|2013. 07. 26.

Web and Library Services참고 문헌 6인용 수 3

한 줄 요약

이 논문은 2013년 Google Scholar Metrics를 평가하여 이전 버전과 비교해 새로운 기능이 크게 없음을 확인한다. 이전 평가에서 지적된 지속적인 문제들이 그대로 유지되며, 단지 기간이 2003–2007년에서 2008–2012년으로 업데이트되었을 뿐이며, 서비스는 크게 변화하지 않았고 주요 향상 사항이나 혁신이 도입되지 않았음을 결론 내린다.

ABSTRACT

Main characteristics of Google Scholar Metrics new version (july 2013) are presented. We outline the novelties and the weaknesses detected after a first analysis. As main conclusion, we remark the lack of new functionalities with respect to last editions, as the only modification is the update of the timeframe (2008-2012). Hence, problems pointed out in our last reviews still remain active. Finally, it seems Google Scholar Metrics will be updated in a yearly basis

연구 동기 및 목표

• Google Scholar Metrics 2013에 도입된 신규 기능과 향상 사항을 평가하기 위해.
• 서비스 기능에 대한 지속적인 약점과 제한 사항을 특정하기 위해.
• 업데이트된 기간(2008–2012)이 지표의 신뢰성과 범위에 미치는 영향을 평가하기 위해.
• 이전 버전 대비 서비스의 진화 여부를 판단하기 위해.
• Google Scholar Metrics의 현재 상태와 향후 전개 방향에 대한 비판적 분석을 제공하기 위해.

제안 방법

• 이전 버전(2012년 이전)과의 비교 분석을 통해 Google Scholar Metrics 2013을 평가하였다.
• 신규 인터페이스 및 데이터 표시 방식의 독창성과 사용성 여부를 평가하였다.
• 업데이트된 인용 기간(2008–2012)과 그 저널 지표에 미치는 영향을 검토하였다.
• 이전 평가에서 지적된 반복적인 기술적 및 방법론적 한계를 식별하고 기록하였다.
• 서비스의 업데이트 빈도와 장기적 신뢰성에 대한 영향을 분석하였다.
• 기능성과 사용자 경험을 평가하기 위해 정성적 및 관찰 기반 방법을 사용하였다.

실험 결과

연구 질문

• RQ1 Google Scholar Metrics 2013에 어떤 새로운 기능이 도입되었는가?
• RQ2 업데이트된 인용 기간(2008–2012)은 지표의 신뢰성과 범위에 어떤 영향을 미치는가?
• RQ3 이전 평가에서 지적된 지속적인 문제가 2013년 버전에도 그대로 존재하는가?
• RQ4 2013년 업데이트는 의미 있는 진화인지, 아니면 단순한 정기적 갱신인지 여부는 무엇인가?
• RQ5 기능적 혁신 없이 연간 업데이트가 이루어지는 데 어떤 영향이 있는가?

주요 결과

• Google Scholar Metrics 2013에는 이전 버전과 비교해 새로운 기능이 도입되지 않았다.
• 유일한 변화는 인용 기간이 2003–2007년에서 2008–2012년으로 업데이트된 것뿐이었다.
• 이전 평가에서 지적된 지속적인 문제들, 예를 들어 투명성 부족과 방법론적 일관성 결여는 여전히 해결되지 않았다.
• 서비스는 여전히 본질적인 향상 없이 연간 업데이트 주기로 운영되고 있다.
• 혁신 부족은 지표 품질 향상이나 사용성 향상에 대한 개발 집중도 낮음을 시사한다.
• 평가 결과, 2013년 버전은 이전 버전과 비교해 명백한 발전이 없다는 결론을 도출한다.