[논문 리뷰] A global exploratory comparison of country self-citations 1996-2019

Alberto Baccini, Eugenio Petrovich|arXiv (Cornell University)|2023. 03. 14.

Advanced Text Analysis Techniques참고 문헌 88인용 수 4

한 줄 요약

이 연구는 1996년에서 2019년 사이 50개 국가의 Scopus 데이터를 활용해 국가 자주인용을 분석하며, 대부분의 국가에서 자주인용 추세가 감소하는 것으로 나타났지만, 이탈리아, 이ran, 사우디아라비아를 포함한 12개 국가는 이례적인 증가 추세를 보였다. 이러한 이례적 현상은 연구자 보상이 인용 기반 성과 지표와 직접 연결된 국가 과학 정책과 강하게 연관되어 있으며, 이는 인센티브 시스템에 통합된 문헌정보지표가 과학적 인용 행동을 빠르게 왜곡시킬 수 있음을 보여준다.

ABSTRACT

Self-citations are a key topic in evaluative bibliometrics because they can artificially inflate citation-related performance indicators. Recently, self-citations defined at the largest scale, i.e., country self-citations, have started to attract the attention of researchers and policymakers. According to a recent research, in fact, the anomalous trends in the country self-citation rates of some countries, such as Italy, have been induced by the distorting effect of citation metrics-centered science policies. In the present study, we investigate the trends of country self-citations in 50 countries over the world in the period 1996-2019 using Scopus data. Results show that for most countries country self-citations have decreased over time. 12 countries (Colombia, Egypt, Indonesia, Iran, Italy, Malaysia, Pakistan, Romania, Russian Federation, Saudi Arabia, Thailand, and Ukraine), however, exhibit different behavior, with anomalous trends of self-citations. We argue that these anomalies should be attributed to the aggressive science policies adopted by these countries in recent years, which are all characterized by direct or indirect incentives for citations. Our analysis confirms that when bibliometric indicators are integrated into systems of incentives, they are capable of affecting rapidly and visibly the citation behavior of entire countries.

연구 동기 및 목표

• 1996년에서 2019년 사이 50개 국가의 국가 자주인용 추세 변화를 조사하기 위해.
• 글로벌 패턴에서 벗어난 이례적인 자주인용 추세를 보이는 국가를 특정하기 위해.
• 이러한 이례적 현상이 문헌정보지표 성과를 강조하는 국가 과학 정책과 관련이 있는지 검토하기 위해.
• 성과 기반 재정 지원 체계가 대규모 인용 행동에 어떤 영향을 미치는지 평가하기 위해.
• 인센티브가 경력 발전과 재정 보상과 연결될 경우 인용 지표가 과학적 행동에 얼마나 영향을 미치는지 평가하기 위해.

제안 방법

• 1996년에서 2019년 사이 Scopus 데이터를 활용한 국가 자주인용 비율의 시계열 분석.
• 두 가지 자주인용 비율 계산: SR^I (1년 이내 인용 창) 및 SR^II (5년 이내 인용 창).
• 국가 간 자주인용 궤적 유사성을 시각화하기 위해 다차원 척도법(MDS) 사용.
• 출판물 수치 데이터(로그 척도)를 활용해 인용 추세를 정규화하고 출판량의 영향을 통제하기 위해.
• 인용 창을 인용된 자료에 대해 1년, 인용하는 자료에 대해 1년으로 정의하여 시간적 일관성 확보.
• 이례적 국가들 간 정책 프레임워크를 비교 분석하여 공통된 인센티브 구조를 특정하기 위해.

실험 결과

연구 질문

• RQ1 국가 자주인용 비율은 시간이 지남에 따라 일관된 글로벌 추세를 보이는가, 아니면 상당한 이탈이 있는가?
• RQ2 어느 국가들이 자주인용에서 이례적인 증가 추세를 보이며, 나머지 국가들과 무엇이 다른가?
• RQ3 이러한 이례적 추세가 인용 기반 성과 지표를 강조하는 국가 과학 정책과 어느 정도 관련이 있는가?
• RQ4 인센티브가 개인 연구자의 경력과 얼마나 가까이 연결되어 있는가에 따라 자주인용 행동은 어떻게 영향을 받는가?
• RQ5 문헌정보지표가 연구 평가 시스템에 통합될 경우 국가 수준의 인용 패턴에 측정 가능한 변화를 유도할 수 있는가?

주요 결과

• 대부분의 국가에서 1996년에서 2019년 사이 국가 자주인용 비율이 감소했으며, 이는 외부 인용 의존도 증가 추세를 시사한다.
• 콜롬비아, Egyptians, 인도네시아, 이란, 이탈리아, 말레이시아, 파키스탄, 루마니아, 러시아 연방, 사우디아라비아, 태국, 우크라이나의 12개 국가는 자주인용에서 이례적인 상승 추세를 보였다.
• 이 12개 국가는 연구자 경력 진전과 재정 보상에 직접적으로 인용 성과를 연결하는 과학 정책과 강하게 연관되어 있다.
• 간접적 또는 기관 수준의 인용 인센티브(예: 벨기에, 스웨덴, 불가리아)를 가진 국가는 유사한 자주인용 이례 현상을 보이지 않아, 인센티브가 개인 연구자 경력과 얼마나 가까이 연결되어 있는지가 핵심적 요인임을 시사한다.
• 정책 변화와 자주인용 행동 변화 사이에 강한 시간적 연관성이 확인되어, 연구자들이 인센티브 구조에 따라 자신의 인용 관행을 조정함을 나타낸다.
• 결과적으로 인용 기반 지표는 중립적인 수치가 아니라, 성과 평가 시스템에 통합될 경우 과학적 행동을 활성적으로 형성하는 요소임을 시사한다.