[논문 리뷰] Reproduction Report for SV-COMP 2023

Marcus Gerhold, Arnd Hartmanns|arXiv (Cornell University)|2023. 03. 11.

Software Engineering Research인용 수 4

한 줄 요약

이 논문은 대규모 소프트웨어 검증 경쟁인 SV-COMP 2023의 재현 가능성 연구를 보고한다. 공식 자료와 인프라를 사용하여 대표적인 벤치마크의 일부를 재실행한 결과, 런타임 변동으로 인한 미미한 점수 변동은 있었지만 도구 순위에 변화가 없었으며, 동일한 실험 환경에서 경쟁 결과가 재현 가능하다는 것을 확인하였다.

ABSTRACT

The Competition on Software Verification (SV-COMP) is a large computational experiment benchmarking many different software verification tools on a vast collection of C and Java benchmarks. Such experimental research should be reproducible by researchers independent from the team that performed the original experiments. In this reproduction report, we present our recent attempt at reproducing SV-COMP 2023: We chose a meaningful subset of the competition and re-ran it on the competition organiser's infrastructure, using the scripts and tools provided in the competition's archived artifacts. We see minor differences in tool scores that appear explainable by the interaction of small runtime fluctuations with the competition's scoring rules, and successfully reproduce the overall ranking within our chosen subset. Overall, we consider SV-COMP 2023 to be reproducible.

연구 동기 및 목표

• 공식 실행 환경을 활용하여 SV-COMP 2023의 재현 가능성을 독립적으로 평가하기 위해.
• 특히 도구 순위가 외부 팀에 의해 신뢰성 있게 재현 가능한지 평가하기 위해.
• 점수 변동의 잠재적 원인을 규명하고, 이들이 경쟁 결과의 공정성과 신뢰성에 미치는 영향을 평가하기 위해.
• 대규모 도구 경쟁의 재현 가능성 실현 가능성 평가 및 향후 개선을 위한 피드백 제공을 위해.
• 전체 경쟁의 재현 가능성 평가에 있어 일부 벤치마크에 대한 샘플 체크 접근 방식이 타당한 대체 수단이 될 수 있는지 조사하기 위해.

제안 방법

• 주요 카테고리인 ConcurrencySafety, JavaOverall, SoftwareSystems에 중점을 두고 SV-COMP 2023의 대표적인 벤치마크 및 카테고리의 일부를 선별하여 재실행을 수행하였다.
• 공식 아카이브 자료에 포함된 원본 스크립트, 도구, 벤치마크 세트를 사용하여 경쟁을 재실행하였다.
• LMU 뮌헨에서 제공한 동일한 인프라(168대의 머신 클러스터)와 설정을 사용하여 동일한 조건에서 실행하였다.
• 재실행된 도구 점수 및 순위를 원본 SV-COMP 2023 결과와 비교하여 재현 가능성을 평가하였다.
• 원시 결과 데이터(.csv 파일)를 분석하여, 순위 경계 근처에서의 점수 불일치 원인을 조사하였다.
• 점수 차이의 주요 원인이 소규모 런타임 변동, 특히 소프트 타임아웃과 하드 타임아웃 간의 변화 또는 경계 상태에서의 메모리 초과와 타임아웃 결과의 변화임을 확인하였다.

실험 결과

연구 질문

• RQ1 공식 자료와 인프라를 사용하여 SV-COMP 2023의 대표적인 부분을 성공적으로 재현할 수 있는가?
• RQ2 재실행 결과에서 관찰된 미미한 점수 변동이 SV-COMP 2023의 전체 도구 순위에 어느 정도 영향을 미치는가?
• RQ3 관찰된 점수 차이가 런타임 변동 또는 시스템 수준의 불안정성, 특히 경계 상태의 벤치마크 인스턴스에 의해 설명 가능한가?
• RQ4 대규모 도구 경쟁을 재현하는 데 있어 실질적인 과제는 무엇이며, 향후 대회에서 이를 어떻게 완화할 수 있는가?
• RQ5 전체 경쟁의 재현 가능성 평가에 있어 일부 벤치마크에 대한 샘플 체크 접근 방식이 충분한 신뢰를 제공할 수 있는가?

주요 결과

• 저자들은 공식 스크립트, 도구, 인프라를 사용하여 SV-COMP 2023의 대표적인 부분을 성공적으로 재현하였으며, 동일 조건에서 재현 가능성을 확인하였다.
• 미미한 점수 변동이 관찰되었는데, 예를 들어 ConcurrencySafety에서 UAutomizer는 2725점에서 2733점으로, UTaipan은 2607점에서 2613점으로 상승하였다. 이는 경계 상태에서의 런타임 변동으로 인한 것이었다.
• 작은 점수 변화가 있었음에도 불구하고, 테스트한 모든 카테고리에서 전체 도구 순위는 그대로 유지되었으며, 금메달 수상자인 Deagle(4754점)의 순위도 그대로 유지되었다.
• Termination 카테고리에서 이질적인 결과가 발견되었는데, 재실행 과정에서 VeriFuzz는 '정확한 거짓' 결과가 전혀 없었으며, 이는 스크립트나 실행 파이프라인에 잠재적인 문제가 있을 수 있음을 시사하지만, 원인은 아직 조사 중이다.
• Symbiotic와 Deagle의 경우, 원본 실행과 재실행 결과의 점수가 정확히 일치하여, 이 도구들의 경우 높은 수준의 재현 가능성을 보였다.
• 모든 도구에서 런타임 및 자원 사용에 미세한 차이가 관찰되었지만, 이는 최종 정확성이나 순위 결과에 영향을 주지 않았다.