[論文レビュー] Effects of Research Paper Promotion via ArXiv and X

Chhandak Bagchi, Eric Malmi+1 more|arXiv (Cornell University)|Jan 20, 2024

Scientific Computing and Data ManagementDecision Sciences被引用数 3

ひとこと要約

本研究は、10年間の出版物の大規模データセットを用いて、コンピュータサイエンス分野における、初期のArXivプレプリント公開およびX（旧Twitter）でのプロモーションが引用回数に与える影響を分析している。5年間で、初期のArXiv提出は引用数を21.1±17.4件、改訂は18.4±17.6件、Xでのプロモーションは44.4±8件増加させることが判明。これは、ソーシャルメディアおよびプレプリント共有が科学的インパクトの主要因であることを示している。

ABSTRACT

In the evolving landscape of scientific publishing, it is important to understand the drivers of high-impact research, to equip scientists with actionable strategies to enhance the reach of their work, and to understand trends in the use of modern scientific publishing tools to inform their further development. Here, we study trends in the use of early preprint publications and revisions on ArXiv and the use of X (formerly Twitter) for promotion of such papers in computer science and physics. We find that early submissions to ArXiv and promotion on X have soared in recent years. Estimating the effect that the use of each of these modern affordances has on the number of citations of scientific publications, we find that peer-reviewed conference papers in computer science that are submitted early to ArXiv gain on average $21.1 \pm 17.4$ more citations, revised on ArXiv gain $18.4 \pm 17.6$ more citations, and promoted on X gain $44.4 \pm 8$ more citations in the first 5 years from an initial publication. In contrast, journal articles in physics experience comparatively lower boosts in citation counts, with increases of $3.9 \pm 1.1$, $4.3 \pm 0.9$, and $6.9 \pm 3.5$ citations respectively for the same interventions. Our results show that promoting one's work on ArXiv or X has a large impact on the number of citations, as well as the number of influential citations computed by Semantic Scholar, and thereby on the career of researchers. These effects are present also for publications in physics, but they are relatively smaller. The larger relative effect sizes, effects of promotion accumulating over time, and elevated unpredictability of the number of citations in computer science than in physics suggest a greater role of world-of-mouth spreading in computer science than in physics.

研究の動機と目的

• コンピュータサイエンス分野における、早期のプレプリント公開およびXでのプロモーションの上昇傾向を理解すること。
• ArXivへの提出時期、改訂、Xでのプロモーションが引用回数に与える因果的影響を定量化すること。
• セマンティック・サーチャーのインパクトフルな引用数といった現代のインパクト指標が、ソーシャルメディアの露出によって同様に影響を受けるかどうかを評価すること。
• これらの傾向が科学的評価、ピアレビュー、将来の出版システムに与える影響を評価すること。
• ソーシャルメディアにインスパイアされた引用指標が、バイアスのないバイラルプロモーションを低減できるかどうかを検討すること。

提案手法

• 2013年から2023年までのコンピュータサイエンス分野の出版物に関する大規模かつ相互参照可能なデータセットを用い、カンファレンスの論文とArXivプレプリント、X（Twitter）の活動を関連付けた。
• 交絡要因を制御した上で、ArXivへの提出時期、改訂、Xでのプロモーションが引用回数に与える因果的影響を特定するため、ダブルロバスト推定を適用した。
• 引用回数は、出版後5年間の期間で測定され、合計引用数およびインパクトフルな引用数の両方について、セマンティック・サーチャーのデータを用いた。
• 著者によるツイートと他者によるリツイートの違いを区別し、引用結果に与える影響の差を評価した。
• ソーシャルメディアの影響下での現代的インパクト指標の変動性を評価し、社会的バイアスを補正するためのネットワーク正規化引用グラフを提案した。
• 意味的類似性と著者関係に基づき、引用をトピック関連と非関連に分類し、引用の関連性を評価した。

実験結果

リサーチクエスチョン

• RQ1 RQ1: コンピュータサイエンス分野において、ArXivへの早期提出および改訂、Xでのプロモーションは、標準的な慣習として定着しているか？
• RQ2 RQ2: コンferエンスの論文が公開される前にArXivに論文を公開することは、引用回数にどのような影響を与えるか？
• RQ3 RQ3: ArXivに論文を改訂することは、引用回数にどのような影響を与えるか？
• RQ4 RQ4.1: Xで論文をプロモートすることは、引用数の増加に繋がるか？
• RQ5 RQ5: 最新のソーシャルメディアにインスパイアされたインパクト指標は、ソーシャルメディアの影響を低減できるか？

主な発見

• 早期にArXivに提出した論文は、遅く提出した論文と比較して、5年間で引用数が21.1±17.4件増加する。
• ArXivで論文を改訂した場合、5年間のうちに平均して18.4±17.6件の追加引用が得られる。
• Xで論文をプロモートすると、5年間で44.4±8件の引用数が著しく増加し、強いソーシャルメディア効果が示された。
• 合計引用数およびセマンティック・サーチャーのインパクトフルな引用数の両方が、ArXivおよびXでのプロモーションに対して極めて感受性を示しており、これは社会的影響が伝統的なインパクト測定を歪めている可能性を示唆している。
• 著者によるツイートの効果は、他者によるリツイートよりも顕著に高いことが判明し、著者主導のプロモーションがより効果的であることが示された。
• ネットワーク正規化引用数のような現代的指標は、ソーシャルメディアバイアスを低減できる可能性があるが、現時点のどの指標もグッドハートの法則に従ってゲーム化のリスクを完全に回避できない。