[논문 리뷰] Sampling in Software Engineering Research: A Critical Review and Guidelines

Sebastian Baltes, Paul Ralph|arXiv (Cornell University)|2020. 02. 18.

Software Engineering Research인용 수 31

한 줄 요약

이 논문은 소프트웨어 공학 연구에서의 샘플링 관행을 비판적으로 검토하고, 무작위 샘플링과 정교한 샘플링의 사용이 제한적임을 발견하며, 대표성에 대한 오해를 강조하고 샘플링 관행을 개선하기 위한 지침과 프라이머를 제시한다.

ABSTRACT

Representative sampling appears rare in empirical software engineering research. Not all studies need representative samples, but a general lack of representative sampling undermines a scientific field. This article therefore reports a critical review of the state of sampling in recent, high-quality software engineering research. The key findings are: (1) random sampling is rare; (2) sophisticated sampling strategies are very rare; (3) sampling, representativeness and randomness often appear misunderstood. These findings suggest that software engineering research has a generalizability crisis. To address these problems, this paper synthesizes existing knowledge of sampling into a succinct primer and proposes extensive guidelines for improving the conduct, presentation and evaluation of sampling in software engineering research. It is further recommended that while researchers should strive for more representative samples, disparaging non-probability sampling is generally capricious and particularly misguided for predominately qualitative research.

연구 동기 및 목표

• 샘플링 문제와 기법에 관한 SE 특화 프라이머를 상세하게 제공한다.
• SE 연구에서의 샘플링 현황을 조사한다.
• SE 연구에서 샘플링의 수행, 제시, 평가를 개선하기 위한 지침을 제시한다.

제안 방법

• 최근 SE 논문 중 선정된 샘플에 대한 수동적 비판적 검토를 수행한다.
• 샘플링 이론을 SE에 초점을 맞춘 프라이머로 합성한다.
• 연구 방법과 관찰 단위 전반에서 샘플링이 어떻게 사용되는지 분석한다.
• 샘플링 절차의 더 명확한 보고와 재현을 위한 지침을 제안한다.

실험 결과

연구 질문

• RQ1 RQ1: 최근의 고품질 SE 연구에서 가장 일반적인 샘플링 방법은 무엇인가?
• RQ2 RQ2: 저자들은 샘플링 방법을 어떻게 타당화하는가?
• RQ3 RQ3: 어떤 경험적 연구 방법론이 가장 일반적인가?
• RQ4 RQ4: 어떤 관찰 단위가 가장 일반적인가?

주요 결과

• 무작위 샘플링은 SE 연구에서 드물다.
• 정교한 샘플링 전략은 매우 드물다.
• 샘플링, 대표성, 그리고 무작위성은 SE 연구에서 종종 오해된다.
• 이 논문은 기존 지식을 간결한 프라이머와 SE 연구에서 샘플링 관행을 개선하기 위한 광범위한 지침으로 합성한다.