[논문 리뷰] A Literature Survey on Empirical Evidence in Software Engineering

Ekaterina Pek, Ralf Lämmel|arXiv (Cornell University)|2013. 04. 03.

Software Engineering Research참고 문헌 18인용 수 3

한 줄 요약

이 논문은 2011–2012년도에 열린 일곱 개의 주요 소프트웨어 공학(Software Engineering, SE) 컨퍼런스(2011–2012)에서 발표된 175편의 장문 논문을 대상으로 기반 이론 기반 문헌 조사를 수행하여, 실증 연구에서 소프트웨어 코퍼스의 사용을 분석한다. 연구 결과, 코퍼스는 거의 보편적으로 사용되고 있음에도 불구하고 표준 프로젝트나 데이터셋이 널리 재사용되지 않으며, 연구자들은 종종 특정 연구 목적에 맞게 코퍼스를 맞춤형으로 조정하고 있음을 확인하였다. 이는 재현 가능성과 재사용성을 향상시키기 위해 공동으로 관리하는 도메인 특화 코퍼스가 필요하다는 시사점을 제시한다.

ABSTRACT

Context: Software Engineering research makes use of collections of software artifacts (corpora) to derive empirical evidence from. Goal: To improve quality and reproducibility of research, we need to understand the characteristics of used corpora. Method: For that, we perform a literature survey using grounded theory. We analyze the latest proceedings of seven relevant conferences. Results: While almost all papers use corpora of some kind with the common case of collections of source code of open-source Java projects, there are no frequently used projects or corpora across all the papers. For some conferences we can detect recurrences. We discover several forms of requirements and applied tunings for corpora which indicate more specific needs of research efforts. Conclusion: Our survey feeds into a quantitative basis for discussing the current state of empirical research in software engineering, thereby enabling ultimately improvement of research quality specifically in terms of use (and reuse) of empirical evidence.

연구 동기 및 목표

• 실증 소프트웨어 공학 연구에서 소프트웨어 코퍼스의 특성과 사용 패턴을 이해하기 위해.
• 넓은 SE 공동체 내에서 일반적으로 사용되는 프로젝트나 데이터셋이 존재하는지 확인하기 위해.
• 연구자들이 특정 연구 요구에 맞게 코퍼스를 어떻게 맞춤형으로 조정하는지 조사하기 위해.
• 실증 증거의 재사용성과 표준화를 향상시켜 연구 품질을 향상시키기 위해.

제안 방법

• CSMR, ESEM, ICPC, ICSM, MSR, SCAM, WCRE 등 일곱 개의 주요 SE 컨퍼런스에서 발표된 장문 논문을 대상으로 기반 이론 기반 문헌 조사를 수행하였다.
• 2011–2012년도 컨퍼런스 프로ceedings를 수작업으로 코딩하고 반복적 검증을 통해 코퍼스 사용 패턴을 식별하였다.
• 크기, 언어, 진화, 적용된 튜닝 등의 코퍼스 특성에 집중하였다.
• 사전 정의된 카테고리에 의존하기보다는 데이터에서 유추된 하향식 코딩 체계를 사용하였다.
• 다중 코딩 단계를 거치고 원본 논문을 지속적으로 참조하여 결과를 교차 검증하였다.
• 연구 관행을 반영하는 컨퍼런스 프로ceedings에 집중하기 위해 저널 논문은 제외하였다.

실험 결과

연구 질문

• RQ1 소프트웨어 공학 논문에서 코퍼스가 실증 증거의 수집체로 얼마나 자주 사용되는가?
• RQ2 SE 연구에서 사용된 코퍼스의 핵심 특성(예: 크기, 언어, 진화)은 무엇인가?
• RQ3 조사된 논문들 사이에서 일반적으로 사용되는 프로젝트나 데이터셋이 존재하는가, 아니면 코퍼스 선택이 매우 개인적인 특성에 의존하는가?
• RQ4 연구자들이 얼마나 많은 정도로 코퍼스를 맞춤형으로 조정하거나 튜닝하는가, 그리고 이러한 튜닝의 형태는 무엇인가?

주요 결과

• 조사된 장문 논문 184편 중 95%인 175편이 코퍼스를 사용하여 실증 증거에 대한 거의 보편적인 의존성을 보였다.
• 가장 흔한 코퍼스는 오픈소스 자바 프로젝트의 집합이지만, 특정 프로젝트나 데이터셋이 다수의 논문에서 재사용되지는 않았다.
• 특정 프로젝트의 반복적 사용이 감지된 것은 오직 세 개의 컨퍼런스 뿐이며, 이 컨퍼런스들에서 25%의 논문이 동일한 선호 프로젝트를 사용하였다.
• 연구자들은 크기, 연령, 기능성 등으로 필터링하는 등의 커스터마이제이션 튜닝을 자주 적용하여 다양한 특정 연구 요구를 반영하고 있었다.
• '황금 표준' 코퍼스는 존재하지 않으며, 표준화 부족으로 인해 자체적으로 코퍼스를 수집하는 것이 여전히 일반적이다.
• 다양성에도 불구하고 반복적인 요구사항과 튜닝 패턴이 존재하므로, 공동으로 관리하는 도메인 특화 코퍼스를 통해 재사용성과 재현 가능성을 향상시킬 잠재력이 있다.