[論文レビュー] Citations in Software Engineering -- Paper-related, Journal-related, and Author-related Factors

Mika Mäntylä, Vahid Garousi|arXiv (Cornell University)|Aug 12, 2019

Software Engineering Research参考文献 50被引用数 4

ひとこと要約

本研究は、1970年から2018年までの25,113件のソフトウェア工学（SE）論文を対象に、負の二項回帰および分位数回帰を用いて、査読付き学術誌における引用回数に影響を与える要因を調査した。主な発見では、出版誌、著者チームの過去の引用回数、論文の長さ、参考文献数、および参考文献の新鮮さが、引用回数に最も大きな影響を与える要因であることが判明した。特に、高影響力の誌や、過去に少数の論文しか出していないが、それらが高く引用されたチームの論文は、引用回数が高くなる傾向にある。

ABSTRACT

Many factors could affect the number of citations to a paper. Citations have an important role in research policy and in measuring the excellence of research and researchers. This work is the first study in software engineering (SE) to assess multiple factors affecting the number of citations to SE papers. We use (a) negative binomial regression and (b) quantile regression to study arithmetic mean and median expected citations of a paper. Our dataset includes all the 25,113 papers which have been published in a set of 16 main SE journals, between 1970 and 2018. Our results indicate that publication venue, author team's past citations, paper length, the number of references, and the recency of references are the most influential factors on the number of citations to SE papers. From our empirical findings, we present several implications and advice to researchers for getting higher citations on their papers, which are in addition to the obvious case of conducting high-quality technical research, e.g. (1) Aim for high-profile venues, (2) Build a high-quality author team with highly cited past papers, and (3) Aim for high-quality work that has comprehensive content (thus longer paper length and reference list).

研究の動機と目的

• ソフトウェア工学における引用回数に影響を与える論文関連要因、ジャーナル関連要因、著者関連要因を特定・定量化すること。
• 包括的なデータセットと強固な多変量モデリングを用いて、先行研究の不足を補い、SEの文献計測分野におけるギャップを埋めること。
• 技術的質以外の要因に着目した研究者が、引用インパクトを高めるための実用的知見を提供すること。
• SEにおける引用パターンが、一般的な科学的傾向と一致しているのか、それとも独自の特徴を示すのかを検討すること。

提案手法

• 1970年から2018年までに発表された25,113件のSE学術論文について、Scopusからデータを収集した。
• 過分散を考慮した引用データの平均引用回数をモデル化するため、負の二項回帰を適用した。
• 極端な外れ値の影響を軽減するため、中央値の引用期待値を分析する分位数回帰を用いた。
• 論文の年齢、論文長（ページ数）、題名長、参考文献数、参考文献の新鮮さ（Price指数）、ジャーナルの影響力係数、著者チームの指標（過去の引用回数、発表数、チーム規模）を予測変数として組み込んだ。
• 特にデータ欠損があるジャーナル（例：TOSEM）を対象に、モデルの診断と誤差分析を実施した。
• 他の科学分野における先行研究と照らし合わせて、SEにおける発見の整合性と独自性を検証した。

実験結果

リサーチクエスチョン

• RQ1 論文関連要因、ジャーナル関連要因、著者関連要因の中で、SE学術誌における引用回数を有意に予測する要因は何か？
• RQ2 平均引用回数と中央値引用期待値をそれぞれモデル化した場合、これらの要因の影響にどのような違いが生じるか？
• RQ3 著者チームの特性（過去の引用実績や発表数）が、引用結果にどの程度予測力を持つのか？
• RQ4 参考文献の新鮮さが引用回数に与える影響は何か？また、これは著者が先行研究をどれほど意識しているかを示唆するのか？
• RQ5 SEにおける引用の予測要因は、他の科学分野の研究結果と一貫しているか？

主な発見

• 出版誌およびジャーナルの影響力係数は、引用回数の予測において最も強い要因であり、高影響力誌に掲載された論文は、著しく高い引用回数が期待できる。
• 著者チームの過去の実績（過去の論文への引用回数）は、引用回数の主要因である。過去に少数の論文しか出していないが、それらが高く引用されたチームは、発表数が多いが影響力の低いチームよりも高い引用回数を達成する傾向にある。
• 論文の長さ（ページ数）と参考文献数は、引用回数の増加と正の相関がある。これは、包括的かつ詳細に記述された研究が、より高い評価を受ける傾向にあることを示唆している。
• 参考文献の新鮮さ（Price指数）は有意な予測要因であり、最近の文献を引用することは、高い引用可能性と関連していることを示している。
• 題名長は平均引用回数に負の影響を与える。これは、短く簡潔な題名の方が可視性や引用可能性が高くなる可能性を示唆している。
• 著者数は平均引用回数の予測において統計的に有意ではないが、中央値引用回数をモデル化する際には、著者所属数が関連性を持つようになる。