[論文レビュー] Towards an OSF-based Registered Report Template for Software Engineering Controlled Experiments

Ana B. M. Bett, Thais Nepomuceno+4 more|arXiv (Cornell University)|Feb 10, 2026

Scientific Computing and Data Management被引用数 0

ひとこと要約

この論文はOSFベースのRegistered Report（RR）Stage-1テンプレートをソフトウェア工学のコントロールド実験向けに提案し、OSF RRタイプをJedlitschka 2008のガイドラインと比較分析し、SE特有のRRガイダンスのギャップ・限界・今後の行動を議論します。

ABSTRACT

Context: The empirical software engineering (ESE) community has contributed to improving experimentation over the years. However, there is still a lack of rigor in describing controlled experiments, hindering reproducibility and transparency. Registered Reports (RR) have been discussed in the ESE community to address these issues. A RR registers a study's hypotheses, methods, and/or analyses before execution, involving peer review and potential acceptance before data collection. This helps mitigate problematic practices such as p-hacking, publication bias, and inappropriate post hoc analysis. Objective: This paper presents initial results toward establishing an RR template for Software Engineering controlled experiments using the Open Science Framework (OSF). Method: We analyzed templates of selected OSF RR types in light of documentation guidelines for controlled experiments. Results: The observed lack of rigor motivated our investigation of OSF-based RR types. Our analysis showed that, although one of the RR types aligned with many of the documentation suggestions contained in the guidelines, none of them covered the guidelines comprehensively. The study also highlights limitations in OSF RR template customization. Conclusion: Despite progress in ESE, planning and documenting experiments still lack rigor, compromising reproducibility. Adopting OSF-based RRs is proposed. However, no currently available RR type fully satisfies the guidelines. Establishing RR-specific guidelines for SE is deemed essential.

研究の動機と目的

• Software Engineeringのコントロールド実験における厳密さ・透明性・再現性を向上させる。
• OSF RRタイプが確立されたSE実験ガイドライン（Jedlitschkaら、2008）とどのように一致するかを検討する。
• SEコントロールド実験に合わせたOSFベースのRR Stage-1テンプレートを初期段階で提案する。
• OSFベースのRR採用におけるギャップ・限界・今後の対応を特定する。

提案手法

• OSF RRタイプ（RR.1、RR.3、RR.10、RR.11）をJedlitschka 2008のSEガイドラインと比較する。
• コントロールド実験に適さないRRタイプを除外し、残りのタイプをガイドラインのセクション（文書化、計画、運用、分析）にマッピングする。
• SEコントロールド実験向けの初期OSFベースRR Stage-1テンプレートを提案する。
• SEにおける今後のRR開発に関する教訓・制限・含意を分析する。

実験結果

リサーチクエスチョン

• RQ1 既存ガイドラインに基づき、SEコントロールド実験向けのRRテンプレートをどう設計できるか？
• RQ2 OSF RRタイプのうち、SEコントロールド実験の文書化・計画ニーズを最も支援するのはどれか？
• RQ3 OSF RR提供とJedlitschka（2008）SEガイドラインとの間にはどのようなギャップが残っており、どう対処できるか？
• RQ4 Software EngineeringにおけるOSFベースRR採用を進めるための今後の行動は何か？

主な発見

• OSF RRタイプはまだSEガイドラインの網羅的なカバーには到達しておらず、Jedlitschka 2008の推奨事項を完全には満たしていない。
• RR.3（質的研究）は最も多くのガイドライン（37件中33件）に対応しており、質的研究支援の適合性がRR.1（37件中31件）より高いことを示唆する。
• OSF上のRRのカスタマイズは限定的で、RR.1とRR.3を組み合わせて全ガイドラインをカバーする単一テンプレートを作成することを妨げている。
• データ駆動・仮説検証型の研究に対してOSFベースRRには顕著な強みがある一方、探索的または設計志向のSE研究には限界が生じる。
• RRは計画・透明性・初期のピア入力を促進し、研究品質を向上させる可能性がある一方、計画負担とPhase-1審査の遅延を招く。
• SE特有のRRガイドラインの必要性を強調し、現行のOSF RRタイプはいずれのSE実験の側面も十分には対処していないことを指摘している。