[논문 리뷰] On the Abolition of the "ICSE Paper" and the Adoption of the "Registered Proposal" and the "Results Report"

Fabio Massacci, Winnie Mbaka|arXiv (Cornell University)|2026. 01. 26.

Software Engineering Techniques and Practices인용 수 0

한 줄 요약

본 논문은 전통적인 ICSE 논문을 폐지하고 두 계층 시스템으로 대체하자고 제안한다: 아이디어와 미리 계획된 방법론을 담은 Registered Proposal, 그리고 이전 제안의 독립적 재현/검증을 위한 Results Report.

ABSTRACT

To address the 'novelty-vicious cycle' and the 'replicability crisis' of the field (both discussed in the survey) we propose abolishing the "ICSE paper" as we know it and replacing it with a two-tier system that also evolves the existing notion of 'Registered Report'. Authors proposing a new idea, experiment, or analysis would submit a "Registered Proposal" of their idea and the proposed experimental methodology to undergo peer review. The following year, anyone can submit (shorter) "Results Reports" on the realization of the empirical work based on the registered proposals of the previous ICSE (or FSE or ISSTA or ASE etc.). Both works should be first class citizens of the mainstream events. We argue that such a disruptive (heretical?) idea is supported and based on the responses of the community of the Future of Software Engineering pre-survey

연구 동기 및 목표

• 소프트웨어 엔지니어링 연구의 재현성 위기와 참신성-엄밀성 불균형을 해결한다.
• 아이디어 제안을 경험적 검증과 구분하는 2단계 발행 모델을 제안한다.
• 공개적이고 팀 간 교차 재현 및 결과의 검증을 장려한다.
• 어떤 그룹이든 재현 연구를 제출할 수 있도록 함으로써 개방성을 높이고 게이트키핑을 줄인다.

제안 방법

• ICSE 논문을 Registered Proposal와 Results Report의 두 유형으로 대체하자는 개념적 주장을 제시한다.
• Registered Proposal은 가설, 연구 질문 및 상세한 방법론을 포함한 참신성 중심 문서로 정의한다.
• Results Report는 Registered Proposal의 검증을 문서화하는 더 짧고 재현에 초점을 맞춘 논문으로 정의한다.
• 주요 학회 트랙에서 두 논문 유형의 주류적 포함을 옹호한다.
• 아티팩트 평가 및 공유된 프로토콜과 같은 재현성을 향상시키는 메커니즘을 논의한다.

실험 결과

연구 질문

• RQ1 두 계층의 출판 모델(Registered Proposals와 Results Reports)이 소프트웨어 공학 연구의 재현성을 개선하고 게이트키핑을 줄일 수 있는가?
• RQ2 참신성의 분할이 재현을 촉진하고 검증 노력에 더 넓은 참여를 가능하게 하는가?
• RQ3 제안된 시스템 하에서 아티팩트와 재현 패키지는 어떻게 평가되어야 하는가?
• RQ4 Results Reports가 이전 제안을 의미 있게 검증하거나 도전하는지 보장하는 기준은 무엇인가?

주요 결과

• 저자들은 현재의 ICSE 스타일 논문이 참신성 중심의 재현성이 낮은 문화에 기여한다고 주장하고 도발적인 대안을 제안한다.
• Registered Proposals는 엄격한 방법론 계획과 함께 새로운 연구 질문을 제시해야 한다.
• Results Reports는 어떤 그룹이든 이전 제안의 독립적 검증을 가능하게 하여 재현 기회를 늘린다.
• 두 가지 논문 유형 모두 주류 학회 트랙에서 일류 논문으로 간주되어 전통적인 ICSE 논문을 대체한다.
• 모형은 어떤 결과는 확증적이고 다른 것은 그렇지 않을 것으로 예측하며, 부정적이거나 무효의 재현 결과도 강건성에 유용하다고 본다.