[논문 리뷰] Citations Systematically Misrepresent the Quality and Impact of Research Articles: Survey and Experimental Evidence from Thousands of Citers

Misha Teplitskiy, Eamon Duede외 2명|arXiv (Cornell University)|2020. 02. 24.

scientometrics and bibliometrics research참고 문헌 15인용 수 9

한 줄 요약

이 연구는 인용 수가 연구 품질과 영향력에 대한 인식을 체계적으로 왜곡함을 드러낸다. 15개 분야의 12,670명의 저자를 대상으로 한 설문 조사에서, 인용 행동이 편향되어 있음을 보여주며, 높은 인용 수를 가진 논문은 인용 수가 적은 논문보다 품질을 과대평가하게 되고, 높은 인용 수를 가진 논문는 종종 미미하거나 영향력이 없는 인용을 위해 사용되므로 영향력이 과소평가됨을 시사한다.

ABSTRACT

Citations are ubiquitous in evaluating research, but how exactly they relate to what they are thought to measure (quality and intellectual impact) is unclear. We investigate the relationships between citations, quality, and impact using a survey with an embedded experiment in which 12,670 authors in 15 academic fields describe about 25K specific referencing decisions. Results suggest that citation counts, when equated with quality and impact, are biased in opposite directions. First, experimentally exposing papers' actual citation counts during the survey causes respondents to perceive all but the top 10% cited papers as of lower quality. Because perceptions of quality are a key factor in citing decisions, citation counts are likely to endogenously cause more citing of top papers and equating them with quality overestimates the actual quality of those papers. Conversely, 54% of references had either zero or minor influence on authors who cite them, but references to highly cited papers were about 200% more likely to denote substantial impact. Equating citations with impact thus underestimates the impact of highly cited papers. Real citation practices thus reveal that citations are biased measures of quality and impact.

연구 동기 및 목표

• 인용 수가 연구자들이 연구 품질과 지적 영향력에 대해 어떻게 평가하는지 조사하기.
• 인용 수와 실제 영향력 간의 괴리가 인용 결정 과정에 어떻게 작용하는지 검토하기.
• 인용 수를 품질이나 영향력과 동일시하는 것이 연구 평가에 체계적인 편향을 초래하는지 평가하기.
• 인용 수의 가시성이 저자들이 참고 논문를 선택하고 그 가치를 어떻게 평가하는지에 미치는 역할 이해하기.

제안 방법

• 15개 학문 분야의 12,670명 저자들을 대상으로 한 대규모 설문 조사로 참고 논문 선택 결정에 관한 데이터 수집.
• 설문 조사에 실험을 통합하여 참가자들이 실제 인용 수를 노출받도록 함.
• 참고 논문의 품질과 영향력에 대한 평가 데이터를 수집하며, 영향력 수준(영향 없음, 미미, 상당)을 구분.
• 다변량 회귀 모델을 사용하여 인용 수와 평가된 품질/영향력 간의 관계 분석.
• 영향력 수준(영향 없음, 미미, 상당)에 따라 참고 논문 선택 결정을 분류하여 영향력 편향 평가.
• 분야 수준의 통제 변수를 사용하여 인용 관행과 평가 기준의 분야 간 차이를 고려함.

실험 결과

연구 질문

• RQ1 실제 인용 수가 참고 논문의 품질에 대해 연구자들이 어떻게 평가하는지 어떻게 影향을 미치는가?
• RQ2 인용 수가 참고 논문에 대한 실질적 지적 영향을 얼마나 반영하는가, 아니면 미미하거나 영향이 없는 경우가 얼마나 되는가?
• RQ3 인용 수의 가시성이 연구 품질과 영향력 평가에 어떻게 편향을 초래하는가?
• RQ4 높은 인용 빈도에도 불구하고 높이 인용된 논문들이 왜 낮은 영향력으로 평가되는가?

주요 결과

• 설문 조사 중 실제 인용 수를 노출시킨 결과, 상위 10퍼센트 이외의 모든 참고 논문에 대해 연구자들이 품질을 낮게 평가하게 되었으며, 이는 높이 인용된 논문의 품질을 과대평가하는 경향이 있음을 시사한다.
• 모든 인용의 54퍼센트가 참고 논문에 대해 영향 없음 또는 미미한 영향을 미쳤으며, 이는 대부분의 인용이 참고 논문의 지적 내용에 실질적인 기여를 하지 않는다는 것을 보여준다.
• 높이 인용된 논문에 대한 인용은 인용 수가 적은 논문에 비해 상당한 지적 영향을 나타내는 데 약 200퍼센트 높은 확률을 보였다.
• 인용 수는 내재된 인용 동역학으로 인해 상위 인용 논문의 품질을 체계적으로 과대평가한다. 이는 가시성이 더 많은 인용을 유도하기 때문이다.
• 인용 수를 영향력과 동일시하는 것은 많은 인용이 지적적으로 의미가 없기 때문에 높이 인용된 논문의 진정한 영향력을 과소평가한다.
• 이 연구는 인용 지표가 품질과 영향력에 대한 잘못된 대체 지표임을 입증하며, 인용 빈도에 따라 반대 방향으로 작용하는 편향이 존재함을 보여준다.