[論文レビュー] SyGuS-Comp 2016: Results and Analysis

Rajeev Alur, Dana Fisman+2 more|arXiv (Cornell University)|Nov 23, 2016

Software Testing and Debugging Techniques参考文献 9被引用数 7

ひとこと要約

本論文は、構文誘導合成（SyGuS）ソルバの第3回年次コンペティションであるSyGuS-Comp 2016の結果を提示し、分析している。本コンペティションでは、ビットベクトルおよび文字列理論を備えた新しいプログラミング・バイ・エクサムプル（PBE）トラックを導入し、10のトラックで13のソルバを評価した。Cvc4-1.5.1とEUSolverがトップパフォーマンスを示し、Cvc4-1.5.1は306のベンチマークのうち195を解消した。EUSolverは、他の高性能ソルバーよりも平均的によりコンactな式を生成した。

ABSTRACT

Syntax-Guided Synthesis (SyGuS) is the computational problem of finding an implementation f that meets both a semantic constraint given by a logical formula phi in a background theory T, and a syntactic constraint given by a grammar G, which specifies the allowed set of candidate implementations. Such a synthesis problem can be formally defined in SyGuS-IF, a language that is built on top of SMT-LIB. The Syntax-Guided Synthesis Competition (SyGuS-Comp) is an effort to facilitate, bring together and accelerate research and development of efficient solvers for SyGuS by providing a platform for evaluating different synthesis techniques on a comprehensive set of benchmarks. In this year's competition six new solvers competed on over 1500 benchmarks. This paper presents and analyses the results of SyGuS-Comp'17.

研究の動機と目的

• 13種類の異なるSyGuSソルバを包括的なベンチマークスイート上で評価・比較すること。
• ビットベクトルおよび文字列理論を備えた新しいプログラミング・バイ・エクサムプル（PBE）トラックを導入し、その有効性を評価すること。
• 配列、不変式、整数演算、モーションプランニングを含む多様な問題カテゴリにおけるソルバの挙動を分析すること。
• 研究開発を促進するための標準化された、コミュニティ主導のベンチマークフォーマットを提供すること。
• 異なる問題タイプおよびソルバーファミリーにおける、ソルバの有効性、効率性、式のサイズに関するトレンドを特定すること。

提案手法

• コンペティションでは、SMT-LIBの拡張であるSyGuS-IF言語を用い、論理的制約と文法を指定することで合成問題を定義する。
• 各ベンチマークは、文法G、背景理論Tにおける論理式φ、および入力/出力動作に関する制約を定義する関数を合成することを目的としている。
• 評価プラットフォームとしてStarExecが使用され、時間制限およびメモリ制限を設けて、すべてのソルバを制御された条件下で実行した。
• 結果は、解消されたベンチマーク数、時間から解に至るまでの時間（最速 vs. 総時間）、式のサイズの複数の次元で分析された。
• PBEトラックでは、Eマッチングおよび文字列/整数演算を拡張したSyGuSフォーマットが使用され、実世界のユースケースから抽出されたベンチマークが用いられた。
• パフォーマンス指標は、バーチャートおよびヒートマップを用いて、カテゴリおよび問題タイプごとのソルバ比較に可視化された。

実験結果

リサーチクエスチョン

• RQ1 SyGuS-Comp 2016ベンチマークスイートにおける多様な問題カテゴリにおいて、どのソルバが最も優れたパフォーマンスを示すか？
• RQ2 文字列およびビットベクトル理論を備えた新規PBEトラックの導入が、ソルバのパフォーマンスおよび表現力にどのように影響を与えたか？
• RQ3 異なるソルバーファミリーにおいて、解の完全性（解消されたベンチマーク数）と解のコンパクトネス（式のサイズ）のトレードオフはいかなるものか？
• RQ4 2014年から2016年にかけてのソルバの能力の進化は、不変式合成や整数演算のような複雑なベンチマークを扱う能力において、どのように顕在化したか？
• RQ5 探索的、記号的、SMTベース、確率的といった異なるアルゴリズム的アプローチが、特定の問題ドメインでそれぞれどのように優れた性能を発揮したか？

主な発見

• Cvc4-1.5.1は、一般トラックで306のベンチマークのうち195を解消し、全ソルバの中で最多であった。また、157のベンチマークを最速で解消した。
• EUSolverは、全トラックで合計206のベンチマークを解消し、全ソルバの中で最多であった。平均的にCvc4-1.5.1よりもはるかにコンパクトな式を生成し、平均式サイズは30,595.7であったのに対し、Cvc4-1.5.1は31,580.5であった。
• 探索的ソルバは139のベンチマークを解消したが、主に不変式生成およびコンパイラ最適化タスクで優れた性能を示したが、完全性および速度の両面で他を上回らなかった。
• 文字列およびビットベクトル理論を備えた新規PBEトラックは、SyGuSの範囲を拡大することに成功し、EUSolverおよびCvc4-1.5.1がこれらの新カテゴリで強力なパフォーマンスを示した。
• Cvc4-1.5.1およびEUSolverの平均式サイズは、他のソルバーよりも顕著に高かった（11.9～17.1）。これは、その高いベンチマークカバレッジに起因する可能性が高い。
• 以前のコンペティションで難易度が高かった多くのベンチマークが2016年に解消された。これは、ソルバ技術およびアルゴリズムの熟成が著しく進展したことを示している。