[논문 리뷰] Empirical Standards for Software Engineering Research

Paul Ralph, Nauman bin Ali외 41명|arXiv (Cornell University)|2020. 10. 07.

Software Engineering Research인용 수 99

한 줄 요약

본 논문은 품질, 동료 심사 공정성 및 투명성을 향상시키기 위해 일반적인 소프트웨어 공학 연구 방법에 대한 살아있고 자연어 기반의 실증 표준을 제안한다.

ABSTRACT

Empirical Standards are natural-language models of a scientific community's expectations for a specific kind of study (e.g. a questionnaire survey). The ACM SIGSOFT Paper and Peer Review Quality Initiative generated empirical standards for research methods commonly used in software engineering. These living documents, which should be continuously revised to reflect evolving consensus around research best practices, will improve research quality and make peer review more effective, reliable, transparent and fair.

연구 동기 및 목표

• SE 연구 기대치에 대한 살아있고 자연어 모델로서의 실증 표준 정의.
• 연구 설계 및 보고를 가이드하기 위해 일반적으로 사용되는 SE 방법에 대한 표준 제공.
• 표준화된 관행을 통해 동료 심사의 투명성, 신뢰성 및 공정성 강화.
• 산업계의 변화하는 합의를 반영하기 위한 표준의 지속적 개정 장려.

제안 방법

• 특정 연구 유형에 대한 커뮤니티의 기대를 자연어 모델로 삼는 실증 표준의 개념을 채택한다.
• 표준 개발의 기초로 ACM SIGSOFT Paper and Peer Review Quality Initiative를 사용한다.
• 합의가 진화함에 따라 지속적으로 개정될 살아있는 문서로 표준을 구성한다.

실험 결과

연구 질문

• RQ1 일반적인 소프트웨어 공학 실증 방법에 대해 엄밀한 표준은 무엇으로 구성되는가?
• RQ2 실증 표준을 어떻게 구현하고 개정하여 연구자와 심사자에게 최신성과 유용성을 유지할 수 있는가?
• RQ3 표준화된 보고가 SE 동료 심사에서 어떤 방식으로 투명성과 공정성을 향상시킬 수 있는가?
• RQ4 SE 내 다양한 방법(예: 설문조사, 실험, 사례 연구)을 이 표준이 어떻게 다루어야 하는가?

주요 결과

• 실증 표준은 연구 품질과 동료 심사를 안내하기 위한 살아있는 문서로 제안된다.
• 표준은 평가의 일관성과 공정성을 향상시키기 위해 일반적으로 사용되는 소프트웨어 엔지니어링 연구 방법을 다룬다.
• 이 이니셔티브의 목적은 동료 심사를 보다 효과적이고 신뢰할 수 있으며 투명하고 공정하게 만드는 것이다.
• 표준은 연구 모범 사례의 변화하는 합의를 반영하도록 지속적으로 개정되어야 한다.