[论文解读] On the Abolition of the "ICSE Paper" and the Adoption of the "Registered Proposal" and the "Results Report"

Fabio Massacci, Winnie Mbaka|arXiv (Cornell University)|Jan 26, 2026

Software Engineering Techniques and Practices被引用 0

一句话总结

简要直接回答摘要：本文提出废除传统的 ICSE 论文，改为两层制度：用于新想法及拟定方法的注册提案（Registered Proposal），以及用于独立复制/验证先前提案的结果报告（Results Report）。

ABSTRACT

To address the 'novelty-vicious cycle' and the 'replicability crisis' of the field (both discussed in the survey) we propose abolishing the "ICSE paper" as we know it and replacing it with a two-tier system that also evolves the existing notion of 'Registered Report'. Authors proposing a new idea, experiment, or analysis would submit a "Registered Proposal" of their idea and the proposed experimental methodology to undergo peer review. The following year, anyone can submit (shorter) "Results Reports" on the realization of the empirical work based on the registered proposals of the previous ICSE (or FSE or ISSTA or ASE etc.). Both works should be first class citizens of the mainstream events. We argue that such a disruptive (heretical?) idea is supported and based on the responses of the community of the Future of Software Engineering pre-survey

研究动机与目标

• 解决软件工程研究中的复制危机与新颖性-严格性不平衡问题。
• 提出两层出版模型以将思想提案与经验验证分离。
• 鼓励公开、跨团队的结果复制与验证。
• 通过允许任何小组提交复制研究，增加开放性并减少门槛。

提出的方法

• 在概念层面论证用两种论文类型取代 ICSE 论文：注册提案（Registered Proposal）与结果报告（Results Report）。
• 将注册提案定义为以新颖性为重点、包含假设、研究问题和详细方法的文档。
• 将结果报告定义为较短、以复制为重点、记录对注册提案的验证的论文。
• 主张在主流会议的各个板块中广泛纳入这两种论文类型。
• 讨论提升可重复性的机制，如文档化分析工具评估与共享协议等。

实验结果

研究问题

• RQ1 两层出版模型（注册提案与结果报告）是否能提升可重复性并减少软件工程研究中的门槛？
• RQ2 将新颖性与经验验证分离是否有助于复制与更广泛参与验证工作？
• RQ3 在拟议系统下，如何评估工件（artifacts）与复制包？
• RQ4 哪些标准能确保结果报告在有意义地验证或挑战先前提案方面有效？

主要发现

• 作者认为现有的 ICSE 风格论文促成了以新颖性为中心、可重复性较低的文化，并提出一种具有颠覆性的替代方案。
• 注册提案应呈现具有严格方法学计划的新研究问题。
• 结果报告将使任何小组都能够独立验证先前提案，从而增加复制机会。
• 两种论文类型都将被视为主流会议板块中的第一类论文，取代传统的 ICSE 论文。
• 该模型预计有些结果将是确认性的，其他则可能不是，负面或无复制结果对于鲁棒性仍然有价值。