[논문 리뷰] Lessons Learnt in Conducting Survey Research

Marco Torchiano, Daniel Méndez외 2명|arXiv (Cornell University)|2017. 02. 19.

Data Quality and Management참고 문헌 9인용 수 4

한 줄 요약

이 논문은 소프트웨어 공학 분야에서 광범위한 설문 조사 연구를 바탕으로 여덟 가지 실용적 교훈을 압축하여 제시한다. 주로 설문 조사 기획, 표본 추출, 질문지 작성, 참가자 모집에서 흔히 발생하는 오류를 피하는 데 초점을 맞추고 있다. 다양한 산업 설문 조사에서의 실제 경험을 공유함으로써, 설문 조사의 타당성, 응답률, 대표성을 향상시키기 위한 실질적인 지침을 제공한다. 특히 소프트웨어 공학 분야에서 고도의 경험적 연구를 수행하고자 하는 초보자 연구자들에게 유용하다.

ABSTRACT

Context: Surveys constitute an valuable tool to capture a large-scale snapshot of the state of the practice. Apparently trivial to adopt, surveys hide, however, several pitfalls that might hinder rendering the result valid and, thus, useful. Goal: We aim at providing an overview of main pitfalls in software engineering surveys and report on practical ways to deal with them. Method: We build on the experiences we collected in conducting many studies and distill the main lessons learnt. Results: The eight lessons learnt we report cover different aspects of the survey process ranging from the design of initial research objectives to the design of a questionnaire. Conclusions: Our hope is that by sharing our lessons learnt, combined with a disciplined application of the general survey theory, we contribute to improving the quality of the research results achievable by employing software engineering surveys.

연구 동기 및 목표

• 소프트웨어 공학 설문 조사 연구에서 흔히 발생하는 문제들—낮은 응답률, 편향된 표본, 잘못된 질문지 설계—를 해결하기 위해.
• 특히 산업 현장에서 발생하는 설문 조사 전 과정에서의 실질적 과제를 특정하고 문서화하기 위해.
• 이론적 지침을 넘어서 경험 기반의 실질적 통찰을 제공함으로써 초보자 연구자들이 연구에 도움이 되도록 지원하기 위해.
• 방법론적 철저성과 실천적 인식을 강조함으로써 소프트웨어 공학 분야에서 설문 조사 기반 연구의 타당성과 신뢰성을 향상시키기 위해.

제안 방법

• 저자는 요구사항 공학, 애자일 방법론, 소프트웨어 이관 등 다양한 소프트웨어 공학 주제에 대해 수행한 다수의 산업 설문 조사를 바탕으로 교훈을 통합하였다.
• 설문 조사 기획, 표본 추출 전략, 질문지 구성, 참가자 모집 단계에서 반복적으로 발생하는 문제들을 분석하기 위해 체계적인 접근을 적용하였다.
• 응답 행동, 초대 메시지의 효과성, 데이터의 대표성 등을 평가하기 위해 피드백 루프를 포함한 반복적 설문 배포를 실시하였다.
• 표본의 무결성을 유지하기 위해 웹 기반 도구에 고유 토큰을 사용하여 설문 초대 링크의 무제한 공유를 방지하는 기술적 조치를 취하였다.
• 초기 초대 메시지, 리마인더 메시지, 인센티브(예: 경품 추첨, 결과 공유)가 응답률에 미치는 영향을 평가하였다.
• 비확률적 표본 추출 방법을 사용할 경우, 참가자 인구통계학적 특성과 목표 인구집단의 프로필을 비교하여 대표성을 평가하였다.

실험 결과

연구 질문

• RQ1 산업적 맥락에서 소프트웨어 공학 설문 조사 수행 시 가장 흔한 방법론적 오류는 무엇인가? 특별히 산업 현장에서의 문제를 중심으로.
• RQ2 비확률적 표본 추출 방법을 사용할 경우, 설문 조사 표본의 대표성을 어떻게 향상시킬 수 있는가?
• RQ3 선택 편향을 유발하지 않으면서도 응답률을 높이기 위해 가장 효과적인 전략은 무엇인가?
• RQ4 설문 조사 초대장과 리마인더 메시지를 어떻게 구성하면 참가자의 참여를 극대화하면서도 불편을 최소화할 수 있는가?
• RQ5 결과 공유가 향후 설문 조사에 참가하는 실무자들의 참여를 유도하는 데 어떤 역할을 하는가?

주요 결과

• 제한된 명확한 응답 기간(예: 수주 내)을 설정하면 참가자의 기억 상실 위험을 크게 줄이고 응답률을 향상시킬 수 있다.
• 초기 초대 후 4~8일 이내에 첫 번째 리마인더를 보내는 것이 응답률을 상당히 높일 수 있지만, 추가 리마인더는 수익 감소 효과를 보인다.
• 초대 메시지에서 설문 조사가 자신의 일과 관련성이 있다는 점을 명확히 전달할수록 참가자가 더 많이 응답할 가능성이 높아진다. 특히 그들의 기여가 가치가 있다는 점을 강조할 경우 더욱 효과적이다.
• 경품 추첨이나 집계된 결과를 참가자와 공유하는 인센티브 제공은 특히 동기 부족한 실무자들 사이에서 참여를 촉진할 수 있다.
• 통제되지 않은 방식으로 설문 조사 초대 링크를 공유할 경우 표본의 무결성이 훼손될 수 있다. 웹 기반 도구에 고유 토큰을 사용하는 것은 효과적인 기술적 보안 조치이다.
• 설문 초대장에서 특정 도구나 관행가 언급될 경우 참가자 스스로를 제외하는 편향(자기 배제 편향)이 발생할 수 있으며, 이는 비사용자들의 보급률을 과소 평가하게 할 수 있다.