[論文レビュー] Empirical Standards for Software Engineering Research

Paul Ralph, Nauman bin Ali+41 more|arXiv (Cornell University)|Oct 7, 2020

Software Engineering Research被引用数 99

ひとこと要約

この論文は、品質、査読の公正性、透明性を向上させるために、共通のソフトウェア工学研究方法の生きた、自然言語による経験的標準を提案します。

ABSTRACT

Empirical Standards are natural-language models of a scientific community's expectations for a specific kind of study (e.g. a questionnaire survey). The ACM SIGSOFT Paper and Peer Review Quality Initiative generated empirical standards for research methods commonly used in software engineering. These living documents, which should be continuously revised to reflect evolving consensus around research best practices, will improve research quality and make peer review more effective, reliable, transparent and fair.

研究の動機と目的

• SE研究の期待値に関する生きた、自然言語モデルとしての経験的標準を定義する。
• 研究設計と報告を指針づける、一般的に使用されるSE手法の標準を提供する。
• 標準化された実践を通じて、査読の透明性、信頼性、公正性を促進する。
• 分野の進化する合意を反映するよう、標準の継続的な改訂を奨励する。

提案手法

• 経験的標準を、特定の研究タイプに対するコミュニティの期待の自然言語モデルとして採用する。
• ACM SIGSOFT Paper and Peer Review Quality Initiative を標準開発の基礎として使用する。
• 標準を進化する合意が更新されるよう、継続的に改訂される生きた文書として位置づける。

実験結果

リサーチクエスチョン

• RQ1 共通のソフトウェア工学の経験的方法に対して、厳密な標準を構成するものは何か。
• RQ2 経験的標準を研究者と査読者にとって最新かつ有用に保つために、どのように実装・改訂すべきか。
• RQ3 標準化された報告がSEの査読における透明性と公正さをどのように改善できるか。
• RQ4 SE内の多様な方法（例：調査、実験、ケーススタディ）をどのように標準化して扱うべきか。

主な発見

• 経験的標準は、研究の品質と査読を導く生きた文書として提案される。
• 標準は、共通して使用されるソフトウェア工学研究手法を対象とし、評価の一貫性と公正性を向上させる。
• この取り組みは、査読をより効果的、信頼性が高く、透明で公正なものにすることを目指す。
• 標準は、研究ベストプラクティスの進化する合意を反映するよう継続的に改訂されるべきである。