[論文レビュー] On the Abolition of the "ICSE Paper" and the Adoption of the "Registered Proposal" and the "Results Report"

Fabio Massacci, Winnie Mbaka|arXiv (Cornell University)|Jan 26, 2026

Software Engineering Techniques and Practices被引用数 0

ひとこと要約

論文は、従来の ICSE 論文を廃止し、二層構造へ移行することを提案する：新規アイデアと計画された手法を含む Registered Proposal、及び prior proposals の独立再現/検証を行う Results Report。

ABSTRACT

To address the 'novelty-vicious cycle' and the 'replicability crisis' of the field (both discussed in the survey) we propose abolishing the "ICSE paper" as we know it and replacing it with a two-tier system that also evolves the existing notion of 'Registered Report'. Authors proposing a new idea, experiment, or analysis would submit a "Registered Proposal" of their idea and the proposed experimental methodology to undergo peer review. The following year, anyone can submit (shorter) "Results Reports" on the realization of the empirical work based on the registered proposals of the previous ICSE (or FSE or ISSTA or ASE etc.). Both works should be first class citizens of the mainstream events. We argue that such a disruptive (heretical?) idea is supported and based on the responses of the community of the Future of Software Engineering pre-survey

研究の動機と目的

• ソフトウェア工学研究における再現性危機と新規性・厳密さの不均衡に対処する。
• アイデア提案と経験的検証を分離する二層の出版モデルを提案する。
• 公開性を促進し、部門横断の再現と検証を奨励する。
• いかなるグループも再現研究を提出できるようにして、ゲートキーピングを緩和・低減する。

提案手法

• ICSE 論文を Registered Proposal と Results Report の二つの論文タイプに置換するという概念的議論を展開する。
• Registered Proposal を仮説・研究課題・詳細な方法論を含む novelty-focused 文書として定義する。
• Results Report を登録済み提案の検証を記録する短めで再現性重視の論文として定義する。
• 両タイプの論文を主要会議のトラックで主流に取り扱うことを提案する。
• 再現性を高める仕組みとして、アーティファクト評価や共有プロトコルなどを議論する。

実験結果

リサーチクエスチョン

• RQ1 Registered Proposals と Results Reports の二層出版モデルは、ソフトウェア工学研究における再現性を向上させ、ゲートキーピングを減らすことができるか。
• RQ2 新規性と経験的検証を分離することで、再現性の促進と検証努力への広範な参加を促進できるか。
• RQ3 提案された制度の下でアーティファクトと再現パッケージをどのように評価すべきか。
• RQ4 Results Reports が prior proposals を意味のある形で検証または挑戦する基準は何か。

主な発見

• 著者らは、現在の ICSE 風論文が新規性重視・再現性が低い文化に寄与していると主張し、破壊的な代替案を提案する。
• Registered Proposals は新規の研究課題と厳密な方法論計画を提示すべきである。
• Results Reports は prior proposals の独立検証を任意のグループによって可能にし、再現の機会を拡大する。
• 両論文タイプは主流の会議トラックで ICSE 論文の伝統に代わる第一級市民として扱われる。
• このモデルでは、いくつかの結果は確認的であり、他はそうでない可能性があり、否定的または無関連な再現結果も堅牢性のために有用である。