[논문 리뷰] Exploring Research Interest in Stack Overflow -- A Systematic Mapping Study and Quality Evaluation

Sarah Meldrum, Sherlock A. Licorish외 1명|arXiv (Cornell University)|2020. 10. 23.

Software Engineering Research참고 문헌 63인용 수 6

한 줄 요약

이 체계적 맵핑 연구는 학술 논문 265편을 스택 오버플로우에 대해 분석하여 연구 관심도, 주제, 방법론, 기여도 및 품질을 평가한다. 연구는 스택 오버플로우에 대한 학술적 관심이 증가하고 있음을 보여주며, 특히 커뮤니티 역학과 기술적 문제에 초점이 맞춰져 있지만, 평균적으로 품질 기준의 58%만 충족되어 향후 연구에서 더 나은 검증이 필요함을 시사한다.

ABSTRACT

Platforms such as Stack Overflow are available for software practitioners to solicit solutions to their challenges and knowledge needs. The practices therein have in recent times however triggered quality related concerns. This is a noteworthy issue when considering that the Stack Overflow platform is used by numerous software developers. Academic research tends to provide validation for the practices and processes employed by Stack Overflow and other such forums. However, previous work did not review the scale of scientific attention that is given to this cause. Continuing from our preliminary work, we conducted a Systematic Mapping study involving 265 papers from six relevant databases to address this gap. In this work, we explored the level of academic interest Stack Overflow has generated, the publication venues that are targeted, the topics that are studied, approaches used, types of contributions and the quality of the publications that are written about Stack Overflow. Outcomes show that Stack Overflow has attracted increasing research interest over the years, with topics relating to both community dynamics and human factors, and technical issues. In addition, research studies have been largely evaluative or proposed solutions; however, the latter approach tends to lack validation. The contributions of these studies are often techniques or answers to a specific problem. Evaluating the quality of all studies that were dedicated to software programming (58 papers), our outcomes show that on average only 58% of the developed quality criteria were met. Notwithstanding that research is continually aiming to understand Stack Overflow and other similar communities, further investigations are required to validate such studies and the solutions they propose.

연구 동기 및 목표

• 최근 출판물에서 스택 오버플로우를 연구 주제로 삼는 학술적 관심 수준을 조사하기 위해.
• 스택 오버플로우 연구에서 사용된 주요 출판 장소, 연구 주제 및 방법론적 접근 방식을 특정하기 위해.
• 특히 스택 오버플로우 중심의 소프트웨어 프로그래밍 커뮤니티에 초점을 맞춘 연구의 품질을 평가하기 위해.
• 문헌에서 제안된 솔루션이 얼마나 실증적으로 검증되었는지 평가하기 위해.
• 현재 연구의 격차를 파악하고 향후 검증 중심 연구를 위한 방향을 제안하기 위해.

제안 방법

• 스택 오버플로우 관련 출판물을 식별하기 위해 6개의 주요 학술 데이터베이스를 활용한 체계적 맵핑 연구를 수행하였다.
• 사전 정의된 포함 및 배제 기준을 적용하여 265편의 논문을 관련성과 품질 여부를 선별하였다.
• 연구 주제, 출판 장소, 방법론적 접근 방식 및 기여 유형에 따라 연구를 분류하였다.
• 표준화된 15개의 품질 기준을 사용하여 소프트웨어 프로그래밍에 중점을 둔 58편의 논문의 품질을 평가하였다.
• 평가된 연구들 간의 품질 기준 평균 충족 비율을 계산하였다.
• 주제 분석을 통해 문헌 내 반복되는 연구 주제와 방법론적 추세를 식별하였다.

실험 결과

연구 질문

• RQ1 스택 오버플로우에 대한 학술적 관심도는 시간이 지남에 따라 어떻게 변화했으며, 가장 자주 사용되는 출판 장소는 무엇인가?
• RQ2 스택 오버플로우와 관련하여 주로 연구된 주요 연구 주제와 주제는 무엇인가?
• RQ3 스택 오버플로우 연구에서 가장 흔히 사용되는 방법론적 접근 방식은 무엇이며, 솔루션은 어떻게 평가되는가?
• RQ4 문헌에서 제안된 솔루션은 얼마나 실증적으로 검증되었는가?
• RQ5 스택 오버플로우 연구의 품질 지표는 기존 연구 품질 기준과 비교해 어떻게 나타나는가?

주요 결과

• 스택 오버플로우에 대한 연구 관심도는 시간이 지남에 따라 크게 증가했으며, 다양한 장소에서 출판량이 증가했다.
• 가장 흔한 연구 주제는 커뮤니티 역학, 인간 요소, 소프트웨어 개발의 기술적 과제이다.
• 다수의 연구는 평가적 또는 솔루션 제안을 포함하지만, 평가된 58편의 논문에서 평균적으로 품질 기준의 58%만 충족되었다.
• 제안된 솔루션 대부분이 실증적 검증을 받지 못해 철저한 평가 관행의 격차가 있음을 시사한다.
• 기여 사항은 일반적으로 특정 기술이나 문제 해결 방법에 국한되어 있으며, 일반화 가능성이나 장기적 검증이 부족하다.
• 증가하는 관심에도 불구하고, 스택 오버플로우 및 유사 플랫폼에 대한 더 방법론적으로 탄탄하고 실증적으로 검증된 연구가 필요하다는 점을 문헌은 보여준다.