[論文レビュー] The Reactive Synthesis Competition (SYNTCOMP): 2018-2021

Swen Jacobs, Guillermo A. Pérez+23 more|arXiv (Cornell University)|Jun 1, 2022

Machine Learning in Materials ScienceMaterials Science被引用数 18

ひとこと要約

本論文は、2018年から2021年までの反応的合成コンペティション（SYNTCOMP）について包括的な分析を提示し、LTL、セーフティ、パリティゲームの仕様において合成ツールの性能と進化を評価している。新規のベンチマークファミリーを導入し、解決品質およびスケーラビリティに基づくツール順位を報告するとともに、特にStrixおよびltlsyntにおけるソルバーパフォーマンスの測定可能な向上を記録している。また、コンペティションの関連性を高めるために今後のルール変更についても述べている。

ABSTRACT

We report on the last four editions of the reactive synthesis competition (SYNTCOMP 2018-2021). We briefly describe the evaluation scheme and the experimental setup of SYNTCOMP. Then, we introduce new benchmark classes that have been added to the SYNTCOMP library and give an overview of the participants of SYNTCOMP. Finally, we present and analyze the results of our experimental evaluations, including a ranking of tools with respect to quantity and quality - that is, the total size in terms of logic and memory elements - of solutions.

研究の動機と目的

• 標準化された独立したコンペティションフレームワークを通じて、反応的合成ツールの最先端状態を評価すること。
• LTL、セーフティ、パリティゲームといった複数の仕様形式において、ツールのスケーラビリティ、解決品質、耐障害性の向上を評価すること。
• 実世界の合成課題を反映する、増大し続ける公開ベンチマークライブラリの拡充とキュレーションを図ること。
• コンペティション結果の実証的分析を通じて、ツールパフォーマンスのトレンドを特定し、今後の開発を支援すること。
• コミュニティ参加の持続可能性と産業的関連性を維持するため、ルールおよびインfraの更新を行うこと。

提案手法

• コンペティションは標準化されたベンチマークフォーマットと、CC-BYライセンスで公開されているGitHub上の中央集権的で公開されたリポジトリを用いている。
• 実現可能および非実現可能なベンチマークに対して、ウォールクロック時間およびユーザCPU時間でツールを評価し、解決品質はANDゲート数で測定している。
• 性能を可視化するためにカクタスプロットが用いられ、時間および出力サイズにログスケーリングが適用されている。
• スケーラビリティの評価には、mux、shift、arbiterなどのパラメータ化されたベンチマークファミリーが含まれ、構造的で複雑な仕様を対象としている。
• 結果は各トラック（LTL、セーフティ、パリティ）ごとに集約され、順位の一貫性、外れ値の性能、ツール固有の強みについて分析されている。
• 今後のルール変更には、逐次および並列トラックの統合、ウォールクロック時間の上限を10,000秒、ユーザCPU時間の上限を40,000秒に引き上げること、StarExecを用いた実行の継続的利用が含まれる。

実験結果

リサーチクエスチョン

• RQ1 2018年から2021年にかけて、反応的合成ツールのパフォーマンスおよび解決品質はどのように変化したか？
• RQ2 どのベンチマークファミリーが現在の合成ツールにとって最大の挑戦をもたらし、ツール順位はそれらのファミリーごとにどのように変動したか？
• RQ3 パリティゲームのような新しい仕様形式は、ツール開発およびコンペティションの多様性をどの程度向上させたか？
• RQ4 mux、shift、arbiterなどのパラメータ化されたファミリーにおいて、ツールのスケーラビリティはどのように変動したか？
• RQ5 時間制限やトラック統合といったルール変更は、ツールパフォーマンスおよびコンペティションの公平性にどのような影響を与えたか？

主な発見

• Strixおよびltlsyntは、LTL合成トラックで常に上位にランクされた。Strixは多様なベンチマークファミリーにおいて強力なパフォーマンスを示した。
• muxおよびshiftベンチマークファミリーでは、非StrixツールがStrixを上回る解決時間を見せており、組み合わせ論理合成におけるツール固有の強みが示された。
• collector_v2およびdetectorファミリーでは、最良のツールがStrixと比較して解決時間が10倍以上短縮された。これは特定の問題クラスにおけるパフォーマンス格差を示している。
• round_robin_arbiterおよびfull_arbiterなどのアーキテクチャファミリーにおいて、Strixは全体でトップランクを維持したが、性能の一貫性に欠け、類似した仕様間で性能のばらつきが見られた。
• 2021年に導入されたパリティゲームトラックは、ツール開発者を効果的に引きつけ、複数のチームがLTLトラックへの参加も拡張した。
• コンペティションのベンチマークライブラリは著しく拡大し、2021年には26のパラメータ化されたLTLファミリーが使用され、詳細なスケーラビリティおよびパフォーマンス分析を可能にした。