[论文解读] Empirical Standards for Software Engineering Research

Paul Ralph, Nauman bin Ali+41 more|arXiv (Cornell University)|Oct 7, 2020

Software Engineering Research被引用 99

一句话总结

本文提出面向常见软件工程研究方法的持续更新的自然语言经验标准，以提高质量、同行评审的公正性和透明度。

ABSTRACT

Empirical Standards are natural-language models of a scientific community's expectations for a specific kind of study (e.g. a questionnaire survey). The ACM SIGSOFT Paper and Peer Review Quality Initiative generated empirical standards for research methods commonly used in software engineering. These living documents, which should be continuously revised to reflect evolving consensus around research best practices, will improve research quality and make peer review more effective, reliable, transparent and fair.

研究动机与目标

• 将经验标准定义为面向SE研究预期的持续更新的自然语言模型。
• 为常用的SE方法提供标准，以指导研究设计和报告。
• 通过标准化实践促进同行评审的透明度、可靠性和公正性。
• 鼓励持续修订标准，以反映领域共识的演变。

提出的方法

• 采用将经验标准视为社区对特定研究类型期望的自然语言模型的概念。
• 以 ACM SIGSOFT Paper and Peer Review Quality Initiative 为制定标准的基础。
• 将标准框定为随着共识演变而持续修订的文档。

实验结果

研究问题

• RQ1 针对常见的软件工程经验方法，严格标准应包含哪些内容？
• RQ2 经验标准如何实施和修订，以保持对研究人员和评审者的时效性与实用性？
• RQ3 标准化报告在提升SE同行评审的透明度和公正性方面有哪些作用？
• RQ4 这些标准应如何覆盖SE中的多样化方法（如调查、实验、案例研究）？

主要发现

• 建议将经验标准作为持续修订的文档，以指导研究质量和同行评审。
• 标准覆盖常用的软件工程研究方法，以提升评估的一致性和公正性。
• 该倡议旨在提升同行评审的有效性、可靠性、透明度和公正性。
• 标准应持续修订，以反映研究最佳实践共识的演变。