[논문 리뷰] Status drives how we cite: Evidence from thousands of authors

Misha Teplitskiy, Eamon Duede외 2명|arXiv (Cornell University)|2020. 02. 24.

scientometrics and bibliometrics research참고 문헌 12인용 수 5

한 줄 요약

이 연구는 다양한 분야의 9,380명의 연구자들에서의 인용 관행을 분석하여, 이전 인용 수에 의해 결정되는 인용 상태가 인용 빈도와 인용 의미 모두에 크게 영향을 준다는 것을 밝혀냈다. 높은 인용 상태를 가진 논문은 더 자주 인용되며, 더 의미 있는 방식으로 인용되며, 이는 실제 내용 품질을 초월해 인식된 영향력을 증폭시키는 '더블 스타터스 효과'를 만들어낸다.

ABSTRACT

Researchers cite works for a variety of reasons, including some having nothing to do with acknowledging influence. The distribution of different citation types in the literature, and which papers attract which types, is poorly understood. We investigate high-influence and low-influence citations and the mechanisms producing them using 17,154 ground-truth citation types provided via survey by 9,380 authors systematically sampled across academic fields. Overall, 54% of citations denote little-to-no influence and these citations are concentrated among low status (lightly cited) papers. In contrast, high-influence citations are concentrated among high status (highly cited) papers through a number of steps that resemble a pipeline. Authors discover highly cited papers earlier in their projects, more often through social contacts, and read them more closely. Papers' status, above and beyond any quality differences, directly helps determine their pipeline: experimentally revealing or hiding citation counts during the survey shows that low counts cause lowered perceptions of quality. Accounting for citation types thus reveals a "double status effect": in addition to affecting how often a work is cited, status affects how meaningfully it is cited. Consequently, highly cited papers are even more influential than their raw citation counts suggest.

연구 동기 및 목표

• 다양한 학술 분야에서 저자 및 논문의 상태가 인용 관행에 미치는 영향을 이해한다.
• 인용 수가 실제 내용과는 무관하게 논문 품질에 대한 인식에 영향을 주는지 조사한다.
• 높은 영향력과 낮은 영향력의 인용을 구분하여 학술 인용 행동의 숨겨진 메커니즘을 밝힌다.
• 사회적 네트워크와 프로젝트 일정이 인용 결정에 어떻게 영향을 주는지 조사한다.
• 실험적 조작을 통해 인용 수가 연구자들이 논문 품질을 평가하는 데 미치는 영향을 평가한다.

제안 방법

• 학술 분야를 아우르는 체계적 설문 조사로 9,380명의 연구자들로부터 17,154개의 기초 인용 유형을 수집하였다.
• 연구자 자가 보고 기반으로 인용을 높은 영향력(의미 있는, 내용 기반)과 낮은 영향력(일상적, 최소한의) 유형으로 분류하였다.
• 인용 시기, 사회적 네트워크 노출, 독서 깊이를 추적하여 고·저위상 논문의 인용 파이프라인을 그림으로 제시하였다.
• 설문 중 인용 수를 보여주거나 숨기는 제어 실험을 실시하여 그 영향이 인식된 품질에 미치는 영향을 테스트하였다.
• 통계 모델링을 사용하여 인용 행동에 영향을 주는 상태의 영향을 논문의 내재적 품질에서 분리하였다.
• 네트워크 및 행동 데이터를 분석하여 학술 인정에 대한 체계적 편향을 규명하였다.

실험 결과

연구 질문

• RQ1 인용 수가 내용과는 무관하게 연구자들이 논문 품질을 평가하는 데 얼마나 영향을 미치는가?
• RQ2 논문 상태가 인용 관행에서 시기, 사회적 노출, 독서 깊이에 어떻게 영향을 주는가?
• RQ3 높은 영향력 인용이 높은 인용 수를 가진 논문에 비율적으로 집중되어 있는가? 만약 그렇다면 그 이유는 무엇인가?
• RQ4 학술 인용에서 '더블 스타터스 효과'를 설명하는 메커니즘은 무엇인가?
• RQ5 잠재적인 내용적 가치가 있음에도 불구하고 저위상 논문은 인용 품질과 가시성 측면에서 어떻게 대처하는가?

주요 결과

• 모든 인용의 54%는 영향력이 낮거나 전혀 없으며, 이는 주로 낮은 위상(낮은 인용 수) 논문들 향해 향한다.
• 높은 영향력 인용은 높은 위상(높은 인용 수) 논문에 집중되어 있으며, 이는 인정의 자가 강화 파이프라인을 형성한다.
• 연구자들은 높은 인용 수를 가진 논문을 연구 프로젝트 초기에 더 일찍 발견하며, 사회적 네트워크를 통해 더 자주 접하게 된다.
• 높은 위상 논문은 더 깊이 있게 읽히며, 단순한 인용을 넘어서 더 깊은 참여를 나타낸다.
• 인용 수를 숨기는 실험적 조작은 인식된 논문 품질을 낮추었으며, 이는 상태 자체가 평가에 영향을 준다는 것을 보여준다.
• '더블 스타터스 효과'는 높이 인용된 논문이 인용 수의 양적 수치를 초월해 더욱 영향력 있게 작용한다는 것을 의미하며, 이는 인용의 빈도와 질의 이중적 영향 때문이다.