[論文レビュー] Testing Database Engines via Pivoted Query Synthesis

Manuel Rigger, Zhendong Su|arXiv (Cornell University)|Jan 13, 2020

Software Testing and Debugging Techniques参考文献 25被引用数 28

ひとこと要約

この論文では、特定のランダムに選択された「ピボット行」を取得することを目的としたクエリを合成することで、データベース管理システム（DBMS）の論理バグを検出する、新しい汎用的手法であるSQLancerを提案する。クエリがピボット行を結果セットに含む必要があることを保証することで、包含オラクルとして機能する。DBMSがピボット行を正しく返さない場合、論理バグが発生したと判断される。この手法により、SQLite、MySQL、PostgreSQLの3つのDBMSで合計123件のバグを発見し、そのうち99件が修正または確認された。これは、高い有効性と広範な適用可能性を示している。

ABSTRACT

Relational databases are used ubiquitously. They are managed by database management systems (DBMS), which allow inserting, modifying, and querying data using a domain-specific language called Structured Query Language (SQL). Popular DBMS have been extensively tested by fuzzers, which have been successful in finding crash bugs. However, approaches to finding logic bugs, such as when a DBMS computes an incorrect result set, have remained mostly untackled. Differential testing is an effective technique to test systems that support a common language by comparing the outputs of these systems. However, this technique is ineffective for DBMS, because each DBMS typically supports its own SQL dialect. To this end, we devised a novel and general approach that we have termed Pivoted Query Synthesis. The core idea of this approach is to automatically generate queries for which we ensure that they fetch a specific, randomly selected row, called the pivot row. If the DBMS fails to fetch the pivot row, the likely cause is a bug in the DBMS. We tested our approach on three widely-used and mature DBMS, namely SQLite, MySQL, and PostgreSQL. In total, we reported 123 bugs in these DBMS, 99 of which have been fixed or verified, demonstrating that the approach is highly effective and general. We expect that the wide applicability and simplicity of our approach will enable the improvement of robustness of many DBMS.

研究の動機と目的

• クラッシュを引き起こさないが誤った結果を返す論理バグを検出する課題に対処すること。
• 異なるSQLディアレクトや意味論をサポートするDBMSでは機能しない差分テストの限界を克服すること。
• 特定の行がクエリ結果に含まれることを保証する、軽量で汎用的なテストオラクルを設計すること。
• 成熟した、広く使われているDBMSにおいて、これまでに発見されていなかった論理バグを自動的かつスケーラブルに検出できること。
• 標的のクエリ合成を用いて、DBMSの堅牢性を向上させる実用的で拡張可能なフレームワークを提供すること。

提案手法

• ピボット行に適用した場合に真となるように、WHERE句やJOIN句を構築することで、ランダムに選択された「ピボット行」を含むクエリを生成する。
• 制約に基づく合成技術を用い、式を動的に変更することで、ピボット行に対して真となるように保証する。これにより、ピボット行は結果セットに必ず含まれる。
• 包含オラクルを採用する：DBMSがピボット行を返さない場合、論理バグが検出されたと判断する。
• この手法は、DBMSの特定のSQLディアレクトや機能に適応できるように設計されたツールであるSQLancerとして実装されている。
• 共有される意味論が不要な状態で、正しさを保証するため、意味論的制約を組み込んだランダムクエリ生成を活用する。
• 内部エラー（例：破損、クラッシュ）を引き起こす技術と、その副作用を検出する技術を補完的に用いる。

実験結果

リサーチクエスチョン

• RQ1 差分テストに依存せずに、論理バグを検出できる汎用的で軽量なオラクルを設計できるか？
• RQ2 ピボット行クエリ合成は、既存のファズィングやランダムクエリ生成手法では検出されない論理バグを効果的に発見できるか？
• RQ3 このアプローチは、異なるSQLディアレクトや機能を有する多様で成熟したDBMSにどの程度スケーラブルに適用できるか？
• RQ4 包含オラクルは、プロダクショングレードのDBMSにおいて、これまでに未知の論理バグをどの程度効果的に検出できるか？
• RQ5 このアプローチは、集計関数や集合演算子などの複雑なSQL構文のバグ検出に拡張可能か？

主な発見

• 本手法により、広く使われている3つのDBMS（SQLite、MySQL、PostgreSQL）で合計123件のバグを発見した。その内訳は、SQLiteで65件、MySQLで25件、PostgreSQLで9件である。
• そのうち99件のバグが開発者によって確認または修正された。そのうち61件は包含オラクルにより検出され、34件はデータベース破損などの内部エラーにより検出された。
• MySQLの1件のクラッシュは、セキュリティ脆弱性（CVE-2019-2879）として分類された。
• 本手法は、2013年から存在していたが、従来のツールでは検出されなかったSQLiteの深刻な論理バグを効果的に検出できた。
• 本手法は、SQLiteの動的型付けや部分インデックスといった、他のDBMSではサポートされないDBMS固有の機能に対しても有効である。
• 本手法の単純さと汎用性により、共有される意味論や複雑なオラクルを必要とせず、広範なDBMSに応用可能である。