[논문 리뷰] Assessing Reproducibility in Evolutionary Computation: A Case Study using Human- and LLM-based Assessment

Francesca Da Ros, Tarik Zaciragic외 3명|arXiv (Cornell University)|2026. 02. 05.

Scientific Computing and Data Management인용 수 0

한 줄 요약

본 논문은 GECCO의 Evolutionary Combinatorial Optimization and Metaheuristics (ECOM) 트랙의 재현성 관행을 10년에 걸쳐 수동 체크리스트와 LLM 기반 RECAP 파이프라인을 사용해 분석하고, 평균 재현성 완전성 0.62, 아티팩트 제공률 36.90%, 자동 평가와 인간 평가 사이에 상당한 일치도(kappa 0.67)를 보고한다.

ABSTRACT

Reproducibility is an important requirement in evolutionary computation, where results largely depend on computational experiments. In practice, reproducibility relies on how algorithms, experimental protocols, and artifacts are documented and shared. Despite growing awareness, there is still limited empirical evidence on the actual reproducibility levels of published work in the field. In this paper, we study the reproducibility practices in papers published in the Evolutionary Combinatorial Optimization and Metaheuristics track of the Genetic and Evolutionary Computation Conference over a ten-year period. We introduce a structured reproducibility checklist and apply it through a systematic manual assessment of the selected corpus. In addition, we propose RECAP (REproducibility Checklist Automation Pipeline), an LLM-based system that automatically evaluates reproducibility signals from paper text and associated code repositories. Our analysis shows that papers achieve an average completeness score of 0.62, and that 36.90% of them provide additional material beyond the manuscript itself. We demonstrate that automated assessment is feasible: RECAP achieves substantial agreement with human evaluators (Cohen's k of 0.67). Together, these results highlight persistent gaps in reproducibility reporting and suggest that automated tools can effectively support large-scale, systematic monitoring of reproducibility practices.

연구 동기 및 목표

• ECOM 논문의 재현성 보고의 완전성을 평가한다.
• 재현성 항목 중 어떤 항목이 일관되게 보고되거나 누락되는지 식별한다.
• 재현성 아티팩트가 어떻게 제공되고, 관리되며, 시간에 따라 어떻게 접근되는지 분석한다.
• 자동 RECAP 평가가 인간 판단과 얼마나 일치하는지 평가한다.

제안 방법

• ACM 표준에 따라 EC 실험에 맞춘 구조화된 재현성 체크리스트를 개발한다.
• 2016–2025년의 168편의 ECOM 논문에 수동 평가를 적용하고; 아티팩트를 추출하며 재실행 가능성을 평가한다.
• 체크리스트를 사용해 논문 텍스트와 코드 저장소에서 재현성 신호를 자동으로 평가하는 LLM 기반 파이프라인 RECAP을 설계한다.
• PDF 텍스트를 처리하고 아티팩트를 추출하며 가능하면 샌드박스에서 코드를 실행해 기능적 실행가능성을 평가한다.
• 자동 RECAP 결과와 수동 평가를 비교해 일치를 측정하고 차이를 확인한다.
• 해석가능성을 보존하면서 ACM 아티팩트 지침과 오픈 사이언스 관행에 근거해 평가를 수행한다.

Figure 1 . BPMN model of the manual assessment of a paper.

실험 결과

연구 질문

• RQ1 RQ1 ECOM 논문의 전반적인 재현성 완전성은 연도에 따라 어떻게 달라지는가?
• RQ2 RQ2 어떤 재현성 항목이 가장 일관되게 보고되며, 어떤 항목이 체계적으로 누락되는가?
• RQ3 RQ3 ECOM 논문은 재현성 아티팩트를 어떻게 제공하고, 이러한 관행은 얼마나 안정적인가?
• RQ4 RQ4 최우수 논문 후보가 다른 논문에 비해 재현성 보고 패턴이 다른가?
• RQ5 RQ5 RECAP이 수동 판단을 어느 정도 재현하는가?

주요 결과

• 논문 단위의 재현성 완전성의 중앙값은 0.61이며 2020년 이후 일반적인 상승 추세가 있다.
• 168편 중 단 3편(1.79%)만이 저자에게 연락하지 않고도 완전 재현에 sufficient 자료를 제공한다.
• 36.90%의 논문이 최소 하나의 재현성 아티팩트를 제공하며, 아티팩트 제공은 시간-변동적이고 때로는 링크가 이용 불가능해진다.
• 자동 매개변수 조정은 15%(25/168)에 불과하며, 거의 절반이 통계적 검정을 보고하나 다중-검정 보정은 13.69%에 불과하다.
• 지명된 최우수 논문은 완전성이 약간 더 높은 경향을 보이지만 차이가 통계적으로 유의하지 않다; 아티팩트 제공은 지명작과 수상작에서 더 높은 편이다.
• RECAP은 논문당 평균 정확도 76.8%와 인간 평가와의 Cohen’s κ 0.67을 달성하여 상당한 일치를 나타낸다.

Figure 2 . RECAP system overview. The system processes each paper through a field-by-field evaluation loop. Based on field type, it either uses the paper text directly (Std), retrieves cached best paper website data (BP), or processes linked repositories (Art). Each field is evaluated by an LLM with