[논문 리뷰] Citations in Software Engineering -- Paper-related, Journal-related, and Author-related Factors

Mika Mäntylä, Vahid Garousi|arXiv (Cornell University)|2019. 08. 12.

Software Engineering Research참고 문헌 50인용 수 4

한 줄 요약

이 연구는 1970~2018년 사이에 출간된 소프트웨어 공학(SE) 저널 논문 25,113篇을 대상으로 음수 이항분포 회귀 및 분위수 회귀를 활용하여 인용 수에 영향을 주는 요인을 조사한다. 주요 결과로는 출판 소재, 저자 팀의 과거 인용 수, 논문 길이, 참고문헌 수, 참고문헌의 최신성 등이 인용 수에 가장 큰 영향을 미치며, 고임팩트 소재와 과거에 소수이지만 높은 인용 수를 기록한 팀은 더 높은 인용 수를 기록한다.

ABSTRACT

Many factors could affect the number of citations to a paper. Citations have an important role in research policy and in measuring the excellence of research and researchers. This work is the first study in software engineering (SE) to assess multiple factors affecting the number of citations to SE papers. We use (a) negative binomial regression and (b) quantile regression to study arithmetic mean and median expected citations of a paper. Our dataset includes all the 25,113 papers which have been published in a set of 16 main SE journals, between 1970 and 2018. Our results indicate that publication venue, author team's past citations, paper length, the number of references, and the recency of references are the most influential factors on the number of citations to SE papers. From our empirical findings, we present several implications and advice to researchers for getting higher citations on their papers, which are in addition to the obvious case of conducting high-quality technical research, e.g. (1) Aim for high-profile venues, (2) Build a high-quality author team with highly cited past papers, and (3) Aim for high-quality work that has comprehensive content (thus longer paper length and reference list).

연구 동기 및 목표

• 소프트웨어 공학 분야의 논문 관련, 저널 관련, 저자 관련 요인이 인용 수에 미치는 영향을 특정하고 정량화하는 것.
• 다양한 변수를 고려한 강력한 다변량 모델링과 종합적인 데이터셋을 활용하여 기존 연구의 부족한 점을 보완하는 것.
• 기술적 품질 외에도 인용 영향력을 높이기 위한 실질적인 통찰을 연구자들에게 제공하는 것.
• SE 분야의 인용 패턴이 일반 과학적 추세와 일치하는지 아니면 고유한 특성을 보이는지 분석하는 것.

제안 방법

• 1970년에서 2018년 사이에 출간된 25,113편의 SE 저널 논문에 대해 Scopus에서 데이터를 수집하였다.
• 과잉분산이 있는 인용 데이터를 고려하여 평균 인용 수를 모델링하기 위해 음수 이항분포 회귀를 적용하였다.
• 극단적인 이상치의 영향을 줄이기 위해 중앙값 인용 기대치를 분석하기 위해 분위수 회귀를 사용하였다.
• 논문 연령, 논문 길이(페이지 수), 제목 길이, 참고문헌 수, 참고문헌 최신성(Price 지수), 저널 임팩트 팩터, 저자 팀 지표(과거 인용 수, 출판 수, 팀 규모) 등을 예측변수로 포함하였다.
• 특히 TOSEM과 같이 데이터가 누락된 저널에 대해 모델 진단 및 오류 분석을 수행하였다.
• 다른 과학 분야의 이전 연구 결과와 비교하여 SE 분야에서의 결과가 일관성과 고유성을 가지는지 검증하였다.

실험 결과

연구 질문

• RQ1 논문 관련, 저널 관련, 저자 관련 요인이 소프트웨어 공학 저널의 인용 수에 유의미하게 영향을 미치는가?
• RQ2 평균 인용 수와 중앙값 인용 기대치를 모델링할 때 이러한 요인의 영향이 어떻게 다를까?
• RQ3 저자 팀의 특성, 예를 들어 과거 인용 성과와 출판량이 인용 결과에 얼마나 예측 가능한가?
• RQ4 참고문헌의 최신성이 인용 수에 영향을 미치는 정도는 어떠하며, 이는 저자가 이전 연구를 얼마나 잘 인식하고 있는지를 어떻게 반영하는가?
• RQ5 소프트웨어 공학 분야에서 인용 예측 요인들이 다른 과학 분야의 연구 결과와 일치하는가?

주요 결과

• 출판 소재와 저널 임팩트 팩터는 인용 수에 있어 가장 강력한 예측변수이며, 고임팩트 저널은 기대 인용 수를 크게 증가시킨다.
• 저자 팀의 과거 성과(이전 논문에 대한 인용 수)는 인용 수의 주요 동력이며, 소수이지만 높은 인용 수를 기록한 팀은 출판 수는 많지만 영향력이 낮은 팀보다 더 높은 성과를 낸다.
• 논문 길이(페이지 수)와 참고문헌 수는 높은 인용 수와 정적 상관관계를 보이며, 종합적이고 잘 문서화된 연구가 더 큰 인정을 받는다는 것을 시사한다.
• 참고문헌의 최신성(Price 지수)은 유의미한 예측변수이며, 최근 논문을 인용하는 것이 더 높은 인용 가능성을 가짐을 시사한다.
• 제목 길이는 평균 인용 수에 부정적 영향을 미치며, 더 짧고 간결한 제목이 가시성과 인용 가능성을 향상시킬 수 있음을 시사한다.
• 저자 수는 평균 인용 수 예측에 통계적으로 유의미하지 않지만, 중앙값 인용 수를 모델링할 경우 저자 소속 수가 중요해진다.