[論文レビュー] Reproduction Report for SV-COMP 2023

Marcus Gerhold, Arnd Hartmanns|arXiv (Cornell University)|Mar 11, 2023

Software Engineering Research被引用数 4

ひとこと要約

この論文は、大規模なソフトウェア検証コンテストであるSV-COMP 2023の再現性に関する研究を報告している。公式のアーティファクトおよびインfra構造を用いて、代表的なベンチマークのサブセットを再実行したところ、実行時間のばらつきによるわずかなスコアの変動は観察されたが、ツール順位の変更はなく、同じ実験環境下でコンテストの結果が再現可能であることが確認された。

ABSTRACT

The Competition on Software Verification (SV-COMP) is a large computational experiment benchmarking many different software verification tools on a vast collection of C and Java benchmarks. Such experimental research should be reproducible by researchers independent from the team that performed the original experiments. In this reproduction report, we present our recent attempt at reproducing SV-COMP 2023: We chose a meaningful subset of the competition and re-ran it on the competition organiser's infrastructure, using the scripts and tools provided in the competition's archived artifacts. We see minor differences in tool scores that appear explainable by the interaction of small runtime fluctuations with the competition's scoring rules, and successfully reproduce the overall ranking within our chosen subset. Overall, we consider SV-COMP 2023 to be reproducible.

研究の動機と目的

• SV-COMP 2023という大規模なソフトウェア検証コンテストの再現性を、独立した実行を用いて評価すること。
• 特にツール順位が外部チームによって信頼性を持って再現可能かどうかを評価すること。
• スコアのばらつきの原因を同定し、それらがコンテスト結果の公平性および信頼性に与える影響を評価すること。
• 大規模なツールコンテストの再現可能性の実用的妥当性を評価し、今後の改善に向けたフィードバックを提供すること。
• ベンチマークのサブセットに対するスポットチェックが、全体のコンテストの再現性を評価する有効な代理指標となるかどうかを調査すること。

提案手法

• 代表的なSV-COMP 2023ベンチマークおよびカテゴリ（特にConcurrencySafety、JavaOverall、SoftwareSystems）を対象に、再実行用のサブセットを選定した。
• 公式にアーカイブされたアーティファクトに含まれる元のスクリプト、ツール、ベンチマークセットを用いて再実行を実施した。
• LMUミュンヘンがホストする元のコンテストと同一のインフラストラクチャ（168台のマシンクラスタ）および設定で実行した。
• 再実行したツールスコアおよび順位を、元のSV-COMP 2023の結果と比較し、再現性を評価した。
• 不正解のスコアに関する差異を調査するため、生の結果データ（.csvファイル）を分析した。特に順位境界付近のツールについて注目した。
• スコアの差異は、主に実行時間のばらつきに起因しており、例えばソフトタイムアウトとハードタイムアウトの違い、または境界ケースでのメモリオーバーとタイムアウトの違いが主な要因であった。

実験結果

リサーチクエスチョン

• RQ1 公式のアーティファクトおよびインfraストラクチャを用いて、SV-COMP 2023の代表的サブセットを正常に再現できるか？
• RQ2 再実行結果におけるわずかなスコアの変動が、SV-COMP 2023の全体的なツール順位にどの程度影響を及えるか？
• RQ3 観察されたスコアの差異は、境界付近のベンチマーク実行における実行時間のばらつきやシステムレベルの不安定性によって説明可能か？
• RQ4 大規模なツールコンテストの再現にはどのような実用的課題があり、今後のエディションでそれらをどのように軽減できるか？
• RQ5 ベンチマークのサブセットに対するスポットチェックは、SV-COMPのような大規模な実験結果の再現性を確立するのに十分な妥当性を持つのか？

主な発見

• 著者らは、コンテストの公式スクリプト、ツール、インfraストラクチャを用いて、SV-COMP 2023の代表的サブセットを正常に再現した。これは、同じ条件下での再現可能性が実現可能であることを確認した。
• わずかなスコアの変動が観察された。例えば、ConcurrencySafetyではUAutomizerが2725点から2733点に、UTaipanが2607点から2613点に上昇した。これは境界ケースでの実行時間のばらつきに起因する。
• わずかなスコアの変化にもかかわらず、全カテゴリでツール順位は変更がなく、金メダル獲得者であるDeagle（4754点）の順位も変化しなかった。
• Terminationカテゴリでは、差異が確認された。再実行ではVeriFuzzに「正しく誤った結果（correct false）」が一切出力されなかった。これはスクリプトまたは実行パイプラインの潜在的な問題を示唆しているが、原因は調査中である。
• SymbioticおよびDeagleについては、元の実行と再実行のスコアが完全に一致しており、これらのツールの再現性が極めて高いことが示された。
• すべてのツールでわずかな実行時間およびリソース使用量の差異が観察されたが、これらは最終的な正誤判定や順位に影響を及ぼさなかった。