[논문 리뷰] A review of the literature on citation impact indicators

Ludo Waltman|arXiv (Cornell University)|2015. 07. 08.

scientometrics and bibliometrics research참고 문헌 326인용 수 9

한 줄 요약

이 논문은 인용 영향 지표에 대한 종합적인 검토를 제공하며, 주요 문헌 기반 데이터베이스(웹 오브 사이언스, 스투드, 구글 색색)를 사용한 계산 방식을 분석한다. 주요 초점은 출판물 및 인용 선택, 분야 보정, 공동저자 수 계산, 저널 수준의 지표이다. 연구는 주요 방법론적 과제를 규명하고 과학적 평가 분야의 향후 연구를 위한 권고안을 제시한다.

ABSTRACT

Citation impact indicators nowadays play an important role in research evaluation, and consequently these indicators have received a lot of attention in the bibliometric and scientometric literature. This paper provides an in-depth review of the literature on citation impact indicators. First, an overview is given of the literature on bibliographic databases that can be used to calculate citation impact indicators (Web of Science, Scopus, and Google Scholar). Next, selected topics in the literature on citation impact indicators are reviewed in detail. The first topic is the selection of publications and citations to be included in the calculation of citation impact indicators. The second topic is the normalization of citation impact indicators, in particular normalization for field differences. Counting methods for dealing with co-authored publications are the third topic, and citation impact indicators for journals are the last topic. The paper concludes by offering some recommendations for future research.

연구 동기 및 목표

• 인용 영향 지표의 역할과 연구 평가에서의 방법론적 기초를 검토하기 위해.
• 주요 문헌 기반 데이터베이스(웹 오브 사이언스, 스투드, 구글 색색)가 인용 지표를 계산하는 데 있어 신뢰성과 한계를 평가하기 위해.
• 출판물 및 인용 선택, 분야 보정, 공동저자 수 계산과 같은 주요 방법론적 과제를 조사하기 위해.
• 저널 수준의 인용 영향 지표의 설계 및 적용을 평가하기 위해.
• 향후 인용 영향 측정 및 과학적 평가 실천을 위한 실질적인 권고안을 제공하기 위해.

제안 방법

• 다양한 과학 분야에서 인용 영향 지표에 관한 기존 문헌에 대한 체계적 검토.
• 웹 오브 사이언스, 스투드, 구글 색색 등의 문헌 기반 데이터베이스 간 커버리지, 인용 수 계산, 영향 지표 계산에 적합성 측면에서의 비교.
• 출판물 및 인용 선택 기준 분석, 시간 창 및 주제 범위 포함.
• 특히 분야 간 인용 행동의 차이를 보정하기 위한 분야 보정 기법의 검토.
• 공동저자 출판물에 대한 수치 계산 방법 검토, 분수 계산 및 저자 기여도 배분 방법 포함.
• 영향력 지수, 이그젠파워, SCImago 저널 랭크(SJR)와 같은 저널 수준의 지표 평가, 그 기반 알고리즘과 한계 포함.

실험 결과

연구 질문

• RQ1 웹 오브 사이언스, 스투드, 구글 색색 등의 다양한 문헌 기반 데이터베이스는 인용 영향 지표 계산에 있어 커버리지와 신뢰성 측면에서 어떻게 비교될 수 있는가?
• RQ2 인용 영향 지표 구축에 있어 출판물 및 인용 선택에 적합한 최적의 기준은 무엇인가?
• RQ3 분야 보정은 분야 간 인용 영향 비교의 공정성과 정확성을 얼마나 향상시킬 수 있는가?
• RQ4 개별 연구자의 평가가 공정하게 이루어지기 위해 공동저자 수는 어떻게 반영되어야 하는가?
• RQ5 기존의 저널 수준 인용 영향 지표의 강점과 약점은 무엇이며, 과학적 영향을 어떻게 반영하고 있는가?

주요 결과

• 웹 오브 사이언스, 스투드, 구글 색색는 커버리지, 인용 색인 관행, 완전성 측면에서 상당한 차이를 보이며, 이는 인용 영향 지표의 신뢰성에 영향을 준다.
• 분야 간 비교의 공정성을 확보하기 위해 분야 보정이 필수적이지만, 현재의 방법들은 정확성과 구현 방식에서 다양성이 있다.
• 분수 계산과 같은 공동저자 수 계산 방법은 개인 연구자 평가의 편향을 줄일 수 있지만, 그 도입은 아직 일관되지 않다.
• 영향력 지수나 이그젠파워와 같은 저널 수준의 지표는 널리 사용되지만, 자기 인용에 취약하고 인용 분포가 비대칭적인 등의 한계를 지닌다.
• 문헌 기반 데이터베이스와 지표 계산 방법의 선택은 결과적으로 인용 영향 지표 점수에 상당한 영향을 미친다.
• 연구 평가에서 인용 영향 측정에 더 투명하고 표준화되며 방법론적으로 타당한 접근 방식이 필요하다.