[论文解读] Lessons Learnt in Conducting Survey Research

Marco Torchiano, Daniel Méndez+2 more|arXiv (Cornell University)|Feb 19, 2017

Data Quality and Management参考文献 9被引用 4

一句话总结

本文从广泛的软件工程调查研究中提炼出八条实用经验教训，聚焦于避免调查设计、抽样、问卷编制和参与者招募中的常见陷阱。通过分享多个工业调查中的真实经验，作者为提升调查的有效性、回应率和代表性提供了可操作的指导，尤其适用于希望开展高质量软件工程实证研究的早期研究者。

ABSTRACT

Context: Surveys constitute an valuable tool to capture a large-scale snapshot of the state of the practice. Apparently trivial to adopt, surveys hide, however, several pitfalls that might hinder rendering the result valid and, thus, useful. Goal: We aim at providing an overview of main pitfalls in software engineering surveys and report on practical ways to deal with them. Method: We build on the experiences we collected in conducting many studies and distill the main lessons learnt. Results: The eight lessons learnt we report cover different aspects of the survey process ranging from the design of initial research objectives to the design of a questionnaire. Conclusions: Our hope is that by sharing our lessons learnt, combined with a disciplined application of the general survey theory, we contribute to improving the quality of the research results achievable by employing software engineering surveys.

研究动机与目标

• 解决软件工程调查研究中常见的不足，例如回应率低、样本偏差和问卷设计缺陷。
• 识别并记录在调查生命周期中，特别是在工业环境中遇到的实际挑战。
• 通过分享基于经验的实用见解，而非仅理论指导，支持早期研究者。
• 通过强调方法论的严谨性和实际意识，提升基于调查的发现的有效性和可靠性。

提出的方法

• 作者综合了在需求工程、敏捷实践和软件迁移等多个软件工程主题上开展的多项工业调查的经验。
• 他们采用系统性方法分析调查设计、抽样策略、问卷编制和参与者招募中的重复性问题。
• 该方法包括迭代式调查部署，并通过反馈回路评估回应行为、邀请有效性及数据的代表性。
• 在基于网络的工具中使用唯一标识符（tokens），以防止调查邀请被不受控地转发，从而维护样本完整性。
• 评估初始邀请、提醒消息以及激励措施（例如抽奖、结果分享）对参与率的影响。
• 将受访者的人口统计特征与目标人群的特征进行对比，以评估代表性，尤其是在使用非随机抽样方法时。

实验结果

研究问题

• RQ1 在工业环境中，开展软件工程调查时最常见的方法论陷阱是什么？
• RQ2 当依赖非概率抽样方法时，研究人员如何提高调查样本的代表性？
• RQ3 哪些策略最有效，可在不引入选择偏差的情况下提高回应率？
• RQ4 如何设计调查邀请和提醒，以最大化参与度，同时最小化对参与者的干扰？
• RQ5 结果分享在激励从业者参与未来调查中起到什么作用？

主要发现

• 设定一个有限且明确的回应期（例如数周）可显著降低参与者遗忘的风险，并提高回应率。
• 在初始邀请发出后的第4至8天发送第一次提醒，可显著提高回应率，但后续提醒的增益递减。
• 当邀请中明确传达调查与参与者工作的相关性，特别是强调其输入的价值时，参与者更有可能回应。
• 提供抽奖或与参与者分享汇总结果等激励措施，可提高参与度，尤其对动机较低的从业者更有效。
• 未经控制地转发调查邀请会损害样本完整性；在基于网络的工具中使用唯一标识符是有效的技术防护措施。
• 当邀请中提及特定工具或实践时，可能出现自我排除偏差，导致对非用户采纳率的低估。