[논문 리뷰] Caveats for the Use of Citation Indicators in Research and Journal Evaluations

Loet Leydesdorff|ArXiv.org|2009. 11. 07.

scientometrics and bibliometrics research인용 수 15

한 줄 요약

이 논문은 연구 평가에서 인용 지표를 비판적으로 검토하지 않은 채 사용하는 데 대한 비판을 제기하며, 인용 관행은 출판 연령, 자기인용 비율, 학문적 관례의 차이로 인해 저널, 분야, 기관 간에 상당한 차이를 보임을 주장한다. 연구는 웹 오브 사이언스/ISI 외 저널, 특히 비영어어권 또는 다학문 분야의 저널이 영향력 지표에서 체계적인 열등성을 겪고 있음을 입증하며, 이러한 저널의 진정한 영향력을 더 잘 반영하기 위해 '외부 인용 영향력 지수'를 제안한다.

ABSTRACT

Ageing of publications, percentage of self-citations, and impact vary from journal to journal within fields of science. The assumption that citation and publication practices are homogenous within specialties and fields of science is invalid. Furthermore, the delineation of fields and among specialties is fuzzy. Institutional units of analysis and persons may move between fields or span different specialties. The match between the citation index and institutional profiles varies among institutional units and nations. The respective matches may heavily affect the representation of the units. Non-ISI journals are increasingly cornered into "transdisciplinary" Mode-2 functions with the exception of specialist journals publishing in languages other than English. An "externally cited impact factor" can be calculated for these journals. The citation impact of non-ISI journals will be demonstrated using Science and Public Policy as the example.

연구 동기 및 목표

• 과학 분야 및 전문 분야 내에서 인용 관행이 동일하다는 가정을 도전하기 위해.
• 기관 및 국가 간 인용 행동의 차이가 인용 기반 평가에서 연구 단위의 표현을 왜곡하는 방식을 부각하기 위해.
• 비-웹 오브 사이언스(비-ISI) 저널, 특히 비영어어역 및 다학문 분야의 저널이 겪는 체계적 열등성을 입증하기 위해.
• 비-ISI 저널의 인용 영향력을 더 공정하게 평가하기 위해 '외부 인용 영향력 지수'라는 대체 지표를 제안하기 위해.
• 기관적, 학문적 차이를 고려하여 연구 평가의 타당성과 공정성을 향상시키기 위해.

제안 방법

• 같은 과학 분야 내외의 저널 간 인용 패턴을 분석하여 출판 연령, 자기인용 비율, 영향력 지수의 변동성을 규명하기 위해.
• 인용 색인 커버리지와 기관 프로필을 비교하여 연구 단위가 인용 데이터베이스에 어떻게 표현되는지의 격차를 평가하기 위해.
• 자기인용 및 내부 인용 네트워크의 영향을 줄이기 위해 외부 출처의 인용만을 고려하는 '외부 인용 영향력 지수' 개념을 도입하기 위해.
• 실증적으로 주요 인용 색인에 포함되지 않은 영향이 연구자의 영향력 평가에 어떤 영향을 미치는지 보여주기 위해 *Science and Public Policy*를 사례 연구로 활용하기 위해.
• 비-ISI 저널과 ISI 색인 저널 간의 인용 분포 및 영향력 지수를 비교하기 위해 문헌정보학 기법을 적용하여, 특히 다학문적 및 비영어어역 맥락에서의 차이를 분석하기 위해.

실험 결과

연구 질문

• RQ1 동일한 과학 분야 내 저널 간 인용 관행(자기인용 포함 및 출판 연령 포함)이 얼마나 다양하게 변동하는가?
• RQ2 저널 색인화(정식 색인 대비 비정식 색인)의 차이가 연구 기관 및 학자들의 표현 및 인식되는 영향력에 어떤 영향을 미치는가?
• RQ3 왜 비영어어역 및 다학문 저널은 인용 기반 평가 체계에서 체계적으로 열등한 위치를 점하는가?
• RQ4 '외부 인용 영향력 지수'는 웹 오브 사이언스 외 저널의 영향력 평가에 더 정확하고 공정한 측정 기준이 될 수 있는가?
• RQ5 과학 분야 및 전문 분야의 경계가 흐려지는 현상이 연구 평가에서 인용 지표의 타당성을 어떻게 약화시키는가?

주요 결과

• 자기인용 비율 및 출판물의 노령화를 포함한 인용 관행는 저널 및 분야 간에 상당한 차이를 보이며, 이는 인용 행동의 동질성에 대한 가정을 무너뜨린다.
• 인용 색인 커버리지와 기관 프로필 간의 일치 정도는 기관 및 국가 간에 다양하게 나타나며, 연구 성과의 표현이 편향될 수 있다.
• 비-웹 오브 사이언스(비-ISI) 저널은 점점 더 '다학문적' 역할로 몰리며, 영어 외 언어로 출판되지 않은 경우 영향력 지표에서 시각화가 감소한다.
• 비-ISI 저널에 대해서는 '외부 인용 영향력 지수'를 계산할 수 있으며, 이는 내부 인용을 제외함으로써 실제 인용 영향력을 더 정확하게 반영할 수 있다.
• *Science and Public Policy*를 사례 연구로 활용한 결과, 주요 인용 데이터베이스에 포함되지 않은 저널은 그 진정한 영향력이 과소평가됨을 보여주었다.
• 연구는 인용 지표가 중립적인 측정 도구가 아니며, 기관적, 언어적, 학문적 구조에 의해 영향을 받으며, 연구 평가에서 신중한 해석이 필요하다는 점을 입증했다.