[논문 리뷰] Effects of Research Paper Promotion via ArXiv and X

Chhandak Bagchi, Eric Malmi외 1명|arXiv (Cornell University)|2024. 01. 20.

Scientific Computing and Data ManagementDecision Sciences인용 수 3

한 줄 요약

이 연구는 10년 간의 출판물 대량 데이터를 바탕으로 컴퓨터 과학 분야에서 조기 ArXiv 프리프린트 게재와 X(이전에 티터와 동일) 홍보가 인용 수에 미치는 영향을 분석한다. 연구 결과, 조기 ArXiv 제출은 5년 간 21.1±17.4건의 인용을 증가시키며, 수정은 18.4±17.6건, X 홍보로는 44.4±8건의 인용 증가 효과를 보였으며, 이는 소셜 미디어와 프리프린트 공유가 과학적 영향력의 주요 동력임을 시사한다.

ABSTRACT

In the evolving landscape of scientific publishing, it is important to understand the drivers of high-impact research, to equip scientists with actionable strategies to enhance the reach of their work, and to understand trends in the use of modern scientific publishing tools to inform their further development. Here, we study trends in the use of early preprint publications and revisions on ArXiv and the use of X (formerly Twitter) for promotion of such papers in computer science and physics. We find that early submissions to ArXiv and promotion on X have soared in recent years. Estimating the effect that the use of each of these modern affordances has on the number of citations of scientific publications, we find that peer-reviewed conference papers in computer science that are submitted early to ArXiv gain on average $21.1 \pm 17.4$ more citations, revised on ArXiv gain $18.4 \pm 17.6$ more citations, and promoted on X gain $44.4 \pm 8$ more citations in the first 5 years from an initial publication. In contrast, journal articles in physics experience comparatively lower boosts in citation counts, with increases of $3.9 \pm 1.1$, $4.3 \pm 0.9$, and $6.9 \pm 3.5$ citations respectively for the same interventions. Our results show that promoting one's work on ArXiv or X has a large impact on the number of citations, as well as the number of influential citations computed by Semantic Scholar, and thereby on the career of researchers. These effects are present also for publications in physics, but they are relatively smaller. The larger relative effect sizes, effects of promotion accumulating over time, and elevated unpredictability of the number of citations in computer science than in physics suggest a greater role of world-of-mouth spreading in computer science than in physics.

연구 동기 및 목표

• 컴퓨터 과학 분야에서 조기 프리프린트 게재 및 X에서의 홍보가 증가하는 추세를 이해하기 위해.
• ArXiv 제출 시기, 수정, X 홍보가 인용 수에 미치는 인과적 영향을 정량화하기 위해.
• 최근의 영향력 지표인 Semantic Scholar의 영향력 있는 인용 수가 소셜 미디어 노출에 동일하게 영향을 받는지 평가하기 위해.
• 이러한 추세가 과학 평가, 동료 심사 및 향후 출판 시스템에 미치는 영향을 평가하기 위해.
• 사회적 요소를 반영한 인용 지표가 바이러스성 홍보로 인한 편향을 줄일 수 있는지 탐색하기 위해.

제안 방법

• 2013년부터 2023년까지의 컴퓨터 과학 출판물 대량 데이터셋을 활용하여, 컫퍼런스 논문과 ArXiv 프리프린트, X(트위터) 활동을 연결한다.
• 혼동 변수를 보정하면서 ArXiv 제출 시기, 수정, X 홍보가 인용 수에 미치는 인과적 영향을 분리하기 위해 双중 강건 추정법을 적용한다.
• 인용 수는 출판 후 첫 5년 동안 측정되며, 총 인용 수와 영향력 있는 인용 수 모두 Semantic Scholar의 데이터를 활용한다.
• 저자 트윗과 타인의 재트윗 간 영향을 구분하여 인용 결과에 미치는 영향을 평가한다.
• 소셜 미디어 영향 하에서 현대적 영향력 지표의 변동성 평가 및 사회적 편향을 보정하기 위해 네트워크 정규화된 인용 그래프를 제안한다.
• 의미적 유사도와 저자 간 관계를 기반으로 인용을 주제별 또는 비주제별로 분류하여 인용의 관련성 평가

실험 결과

연구 질문

• RQ1 RQ1: 컴퓨터 과학 분야에서 조기 ArXiv 제출, 수정, X 홍보가 표준적인 관행로 자리 잡고 있는가?
• RQ2 RQ2: 컨fer런스 논문 출판 이전에 ArXiv에 논문을 게재할 경우 인용 수에 어떤 영향을 미치는가?
• RQ3 RQ3: ArXiv에서 논문을 수정할 경우 인용 수에 어떤 영향을 미치는가?
• RQ4 RQ4.1: X에서 논문을 홍보하면 더 많은 인용을 얻을 수 있는가?
• RQ5 RQ5: 최신의 사회적 요소를 반영한 영향력 지표는 소셜 미디어의 영향을 줄일 수 있는가?

주요 결과

• 조기 ArXiv 제출은 늦게 제출한 경우 대비 5년 간 평균 21.1±17.4건의 인용 증가 효과를 보인다.
• ArXiv에서 논문을 수정하면 첫 5년 동안 평균 18.4±17.6건의 추가 인용이 증가한다.
• X에서 논문을 홍보하면 5년 간 44.4±8건의 인용이 유의미하게 증가하여 강력한 소셜 미디어 효과를 확인할 수 있다.
• 총 인용 수와 Semantic Scholar의 영향력 있는 인용 수 모두 ArXiv 및 X 홍보에 매우 민감하여, 사회적 영향력이 전통적 영향력 측정 방식을 왜곡함을 시사한다.
• 저자 트윗의 효과는 타인의 재트윗보다 유의미하게 높아, 저자 주도의 홍보가 더 큰 영향을 미친다.
• 네트워크 정규화된 인용 수와 같은 현대적 지표는 소셜 미디어 편향을 줄일 수 있지만, 현재의 어떤 지표도 굿하르트의 법칙에 따라 게이밍에 완전히 저항하지 못한다.