[論文レビュー] SQL Query Completion for Data Exploration

Marie Le Guilly, Jean-Marc Petit+1 more|arXiv (Cornell University)|Feb 8, 2018

Advanced Database Systems and Queries参考文献 20被引用数 7

ひとこと要約

本論文では、スキーマだけでなくデータの内容に基づいて意味のある WHERE 句の条件を提案する意味的SQLクエリ補完を紹介する。これは、データ探索を加速することを目的としている。70名の学生を対象に実施した評価では、この手法はクエリ作成時間を顕著に短縮し、採用率も高く、構文的補完ツールに比べて優れた性能を示した。機械学習とデータベースの意味的特性を統合することで実現された。

ABSTRACT

Within the big data tsunami, relational databases and SQL are still there and remain mandatory in most of cases for accessing data. On the one hand, SQL is easy-to-use by non specialists and allows to identify pertinent initial data at the very beginning of the data exploration process. On the other hand, it is not always so easy to formulate SQL queries: nowadays, it is more and more frequent to have several databases available for one application domain, some of them with hundreds of tables and/or attributes. Identifying the pertinent conditions to select the desired data, or even identifying relevant attributes is far from trivial. To make it easier to write SQL queries, we propose the notion of SQL query completion: given a query, it suggests additional conditions to be added to its WHERE clause. This completion is semantic, as it relies on the data from the database, unlike current completion tools that are mostly syntactic. Since the process can be repeated over and over again -- until the data analyst reaches her data of interest --, SQL query completion facilitates the exploration of databases. SQL query completion has been implemented in a SQL editor on top of a database management system. For the evaluation, two questions need to be studied: first, does the completion speed up the writing of SQL queries? Second , is the completion easily adopted by users? A thorough experiment has been conducted on a group of 70 computer science students divided in two groups (one with the completion and the other one without) to answer those questions. The results are positive and very promising.

研究の動機と目的

• 大規模で生じた数百のテーブルと属性を有する不慣れなデータベースにおいて、複雑なSQLクエリを書くという課題に対処すること。
• データアナリストが関連データを探索・取得するために要する時間と認知的負荷を低減すること。
• 実際のデータ内容に基づいて、意味的なWHERE句の条件を提案する意味的補完システムを開発すること。
• このようなシステムが、現実のデータ探索タスクにおいてクエリの構築効率とユーザーアドプションを向上させるかどうかを評価すること。

提案手法

• 初期クエリの結果セットを分析して、関連するWHERE句の条件を提案する意味的SQLクエリ補完システムを提案する。
• クエリ結果内のデータに対して機械学習技術（特にクラスタリングと決定木）を用い、意味的なパターンやグループ化を発見する。
• これらのパターンに基づいて補完候補を生成する。たとえば、属性値によるグループ化や頻出値の組み合わせの特定など。
• DBMS上に実行されるSQLエディタに補完エンジンを統合し、インタラクティブかつ反復的なクエリの最適化を可能にする。
• 構成的誘導と論理式の発見を用いて、クエリの選択性を高める意味的な条件を生成する。
• データマイニングの知見を活用して、ユーザーが手動でスキーマを探索する必要なく、関連するデータサブセットに導く新しい条件を提案する。

実験結果

リサーチクエスチョン

• RQ1 意味的SQLクエリ補完は、大規模データベースにおける複雑なSQLクエリの作成に要する時間を顕著に短縮するか？
• RQ2 ユーザーはデータ駆動のクエリ補完提案を容易に採用し、データ探索の際に効果的に活用できるか？
• RQ3 データ内容に基づく意味的補完は、単にスキーマに基づく従来の構文的補完と比べてどのように異なるか？
• RQ4 このシステムは、反復的精錬を通じて、ユーザーが関連するデータサブセットを発見するのをどの程度支援するか？

主な発見

• 意味的クエリ補完システムは、補完機能なしの対照群と比較して、SQLクエリ作成に要する時間を顕著に短縮した。
• ユーザーはツールに素早く適応し、数百のテーブルと属性を有する複雑なデータベースをナビゲートするのを助けたと感じた。
• システムの提案は関連性があり実行可能であると認識され、反復的精錬を通じて意味的なデータサブセットに導くのを支援した。
• データ内容に基づく補完メカニズム（クラスタリング、決定木）は、単にスキーマ情報に依存する純粋な構文的補完ツールを上回った。
• プロトタイプは、機械学習をデータベースシステムに統合することで、ユーザーのラベル付けや事前の知識を必要とせずにデータ探索を向上させられることを示した。