[논문 리뷰] The weakening relationship between the Impact Factor and papers' citations in the digital age

George A. Lozano, Vincent Larivière외 1명|arXiv (Cornell University)|2012. 05. 19.

scientometrics and bibliometrics research참고 문헌 17인용 수 4

한 줄 요약

이 연구는 1902년에서 2009년 사이에 저널 영향력계수(IF)와 개별 논문 인용 수 사이의 상관관계가 감소하는 경향을 분석하며, 1990년 이후 디지털 전환으로 인해 이 관계가 둔화된 것을 보여준다. 온라인 접근 방식의 전환은 논문이 저널의 명성보다는 학술적 가치에 기반해 인용되게 하여, IF가 개별 논문 영향력에 대한 예측력을 떨어뜨린다. 특히 디지털 형식을 빨리 수용한 물리학 분야에서 이러한 경향이 두드러진다.

ABSTRACT

Historically, papers have been physically bound to the journal in which they were published but in the electronic age papers are available individually, no longer tied to their respective journals. Hence, papers now can be read and cited based on their own merits, independently of the journal's physical availability, reputation, or Impact Factor. We compare the strength of the relationship between journals' Impact Factors and the actual citations received by their respective papers from 1902 to 2009. Throughout most of the 20th century, papers' citation rates were increasingly linked to their respective journals' Impact Factors. However, since 1990, the advent of the digital age, the strength of the relation between Impact Factors and paper citations has been decreasing. This decrease began sooner in physics, a field that was quicker to make the transition into the electronic domain. Furthermore, since 1990, the proportion of highly cited papers coming from highly cited journals has been decreasing, and accordingly, the proportion of highly cited papers not coming from highly cited journals has also been increasing. Should this pattern continue, it might bring an end to the use of the Impact Factor as a way to evaluate the quality of journals, papers and researchers.

연구 동기 및 목표

• 저널 영향력계수와 개별 논문 인용 수 사이의 관계가 시간에 따라 어떻게 변화해왔는지 조사하기.
• 디지털 출판이 저널 명성의 영향력이 인용 패턴을 형성하는 데 미치는 영향을 평가하기.
• 원래 저널 외부에서 논문이 점점 더 많이 확산되면서 영향력계수의 예측 능력이 떨어졌는지 확인하기.
• 특히 물리학과 다른 학문 분야 간의 분야별 차이를 고려하여 이 경향의 변화를 검토하기.
• 계속해서 감소하는 IF-논문 인용 수 상관관계가 향후 영향력계수가 연구 평가 지표로 사용되는 데 영향을 줄 수 있는지 평가하기.

제안 방법

• 다양한 과학 분야에서 1902년에서 2009년까지의 인용 데이터 분석.
• 해당 저널에 게재된 개별 논문의 실제 인용 수와 저널 영향력계수 간의 상관관계 측정.
• 광범위한 디지털 접근이 시작된 1990년을 기준으로 이전 및 이후의 인용 패턴 추세 비교.
• 시간이 지남에 따라 고인용 논문의 비율이 고인용 저널에서 유래한 경우와 낮은 평판을 가진 저널에서 유래한 경우를 추적.
• 특히 물리학 분야에서의 상관관계 강도 변화를 감지하기 위해 통계 분석을 활용.
• 장기적 데이터를 활용하여 저널 수준의 지표가 개별 논문 영향력에 미치는 영향의 변화 평가하기.

실험 결과

연구 질문

• RQ1 1902년에서 2009년 사이에 저널 영향력계수와 개별 논문 인용 수 사이의 상관관계는 어떻게 변화했는가?
• RQ2 IF-논문 인용 수 관계의 둔화는 언제 시작되었으며, 이러한 전환에 기여한 요인은 무엇인가?
• RQ3 온라인 출판으로의 디지털 전환이 인용 행동에서 저널 명성의 역할에 어떤 영향을 미치는가?
• RQ4 다양한 분야에서 고인용 논문의 비율이 비고인용 저널에서 유래한 경우가 얼마나 되는가?
• RQ5 IF-논문 인용 수 상관관계의 감소가 영향력계수가 연구 평가 도구로의 사용을 상실하게 만들 수 있는가?

주요 결과

• 1990년 이후 저널 영향력계수와 개별 논문 인용 수 사이의 상관관계는 점진적으로 둔화되었으며, 이는 디지털 시대에 저널의 명성이 논문 영향력에 대한 예측력이 줄어들고 있음을 시사한다.
• 물리학 분야에서는 디지털 출판으로의 전환이 다른 분야보다 빨리 진행되어, 이 상관관계 감소 경향이 더 이르게 나타났다.
• 1990년 이후 고인용 논문 중 고인용 저널에서 유래한 비율은 감소했고, 낮은 평판을 가진 저널에서 유래한 비율은 증가했다.
• 이 경향은 논문이 점점 더 저널의 명성보다는 그 자체의 내재적 가치에 기반해 인용되고 있음을 시사한다.
• 이러한 상관관계의 둔화는 현재의 추세가 계속된다면 영향력계수가 개인 논문 또는 연구자의 품질을 대체 지표로 사용하는 데 유용성이 떨어질 수 있음을 암시한다.
• 이러한 발견은 특히 디지털 접근성이 높은 분야에서 영향력계수를 주요 평가 지표로 계속 사용하는 것이 타당하지 않다는 점을 도전한다.