[論文レビュー] CUBES: A Parallel Synthesizer for SQL Using Examples

Ricardo Brancas, Miguel Terra-Neves+3 more|arXiv (Cornell University)|Mar 9, 2022

Advanced Database Systems and Queries被引用数 4

ひとこと要約

CUBESは、入出力例を用いてクエリを生成する並列SQL合成器であり、マルチコアアーキテクチャにおける分割統治型並列処理と、ファズィングに基づく曖昧性解消手順を活用して精度を向上させている。60%のユーザー意図一致精度を達成し、過去のツールよりも顕著に高く、ハードなインスタンスではスーパー線形スループットを示す。

ABSTRACT

In recent years, more people have seen their work depend on data manipulation tasks. However, many of these users do not have the background in programming required to write complex programs, particularly SQL queries. One way of helping these users is automatically synthesizing the SQL query given a small set of examples. Several program synthesizers for SQL have been recently proposed, but they do not leverage multicore architectures. This paper proposes CUBES, a parallel program synthesizer for the domain of SQL queries using input-output examples. Since input-output examples are an under-specification of the desired SQL query, sometimes, the synthesized query does not match the user's intent. CUBES incorporates a new disambiguation procedure based on fuzzing techniques that interacts with the user and increases the confidence that the returned query matches the user intent. We perform an extensive evaluation on around 4000 SQL queries from different domains. Experimental results show that our sequential version can solve more instances than other state-of-the-art SQL synthesizers. Moreover, the parallel approach can scale up to 16 processes with super-linear speedups for many hard instances. Our disambiguation approach is critical to achieving an accuracy of around 60%, significantly larger than other SQL synthesizers.

研究の動機と目的

• マルチコアアーキテクチャを活用しない既存のSQL合成器のスケーラビリティ制限に対処する。
• 同じ入出力例を満たすが意味的に異なる複数の正しいクエリの間の曖昧性を解消することで、合成クエリの精度を向上させる。
• ファズィングで生成されたテストケースを用いてユーザーとのインタラクティブな曖昧性解消を可能にし、クエリ選択を改善し、ユーザーの意図に一致させる。
• 並列フレームワーク内でのプルーニング技術とドメイン固有言語（DSL）分割を活用して、SQLクエリ合成の表現力と効率性を拡張する。
• 今後の研究評価のため、約4000件のSQL合成インスタンスを公開するベンチマークを提供する。

提案手法

• 無効なプログラムの列挙を減らすために、拡張されたクエリ言語サポートとプルーニングヒューリスティクスを備えた順次SQL合成器を適応する。
• 各プロセスが異なる操作シーケンスとDSL断片を割り当てられることで、DSLの異なる部分集合を探索する分割統治型並列化戦略を実装する。
• 候補クエリが異なる出力を生じる新しいテストケース（入力テーブル）を自動生成するためにファズィングを用い、標的的な曖昧性解消を可能にする。
• ファズドされたテストケースからの出力の正しさをユーザーにインタラクティブに問い合わせ、誤った候補クエリを段階的に除外する。
• スレッドごとのDSL操作数を動的に増加させることで、負荷をバランスさせ、スターヴェーションを回避し、プロセス間での作業分配を保証する。
• 曖昧性解消ループを合成パイプラインに統合し、ユーザーの意図が自信を持って一致するまで結果を精錬する。

実験結果

リサーチクエスチョン

• RQ1 入出力例に基づく並列クエリ合成器は、複雑なSQL合成問題を解く際、順次的な最先端ツールを上回る性能を発揮できるか？
• RQ2 マルチコアシステムにおける並列処理は、SQLクエリ合成のパフォーマンスとスケーラビリティをどの程度向上させられるか？
• RQ3 ファズィングに基づくインタラクティブな曇り解消手順は、50%というベースラインを超えて、合成クエリの精度をどの程度向上させられるか？
• RQ4 プルーニング技術とDSL分割は、表現力を維持しつつ、検索空間を顕著に削減できるか？
• RQ5 文法的正しさではなく、ユーザーの意図との整合性を指標に測定した場合、クエリ合成ツールの精度はどのように比較されるか？

主な発見

• CUBESの順次版は、既存の最先端ツールよりも多くのSQL合成インスタンスを解けることから、完全性と頑健性の向上が示された。
• CUBESの並列版は、多くのハードなインスタンスでスーパー線形スループットを達成し、16プロセスで使用した際の中央値スループットは15倍にのぼった。
• 曇り解消なしでは、既存の合成器はユーザーの意図一致精度が50%未満にとどまり、実用的使いやすさにおける顕著なギャップが示された。
• 提案されたファズィングに基づく曇り解消により、CUBESは精度を約60%まで向上させ、過去のツールを著しく上回った。
• 複数のドメインにまたがる約4000件のSQLクエリを含む多様なベンチマークを、同フレームワークは正常に処理できた。
• ファズドされたテストケースに対するユーザーのフィードバックを用いたインタラクティブな曇り解消の統合により、入出力例の曇りがある中でも、意図されたクエリを信頼性高く特定できた。