[논문 리뷰] SQL Query Completion for Data Exploration

Marie Le Guilly, Jean-Marc Petit외 1명|arXiv (Cornell University)|2018. 02. 08.

Advanced Database Systems and Queries참고 문헌 20인용 수 7

한 줄 요약

이 논문은 데이터 내용을 기반으로 의미 있는 WHERE 절 조건을 제안하는 의미적 SQL 쿼리 완성 기법을 소개한다. 이는 단지 스키마가 아닌 데이터 내용을 기반으로 하여 데이터 탐색을 가속화한다. 70명의 학생을 대상으로 한 평가에서, 이 방법은 쿼리 작성 시간을 크게 단축시켰고, 사용자들이 잘 수용하였으며, 구문 기반 완성 도구보다도 더 뛰어난 성능을 보였다. 이는 기계 학습과 데이터베이스 의미론을 통합한 결과이다.

ABSTRACT

Within the big data tsunami, relational databases and SQL are still there and remain mandatory in most of cases for accessing data. On the one hand, SQL is easy-to-use by non specialists and allows to identify pertinent initial data at the very beginning of the data exploration process. On the other hand, it is not always so easy to formulate SQL queries: nowadays, it is more and more frequent to have several databases available for one application domain, some of them with hundreds of tables and/or attributes. Identifying the pertinent conditions to select the desired data, or even identifying relevant attributes is far from trivial. To make it easier to write SQL queries, we propose the notion of SQL query completion: given a query, it suggests additional conditions to be added to its WHERE clause. This completion is semantic, as it relies on the data from the database, unlike current completion tools that are mostly syntactic. Since the process can be repeated over and over again -- until the data analyst reaches her data of interest --, SQL query completion facilitates the exploration of databases. SQL query completion has been implemented in a SQL editor on top of a database management system. For the evaluation, two questions need to be studied: first, does the completion speed up the writing of SQL queries? Second , is the completion easily adopted by users? A thorough experiment has been conducted on a group of 70 computer science students divided in two groups (one with the completion and the other one without) to answer those questions. The results are positive and very promising.

연구 동기 및 목표

• 대규모이고 익숙하지 않은 데이터베이스(수백 개의 테이블과 속성이 있는)에서 복잡한 SQL 쿼리를 작성하는 데 도전하는 문제를 해결하기 위해.
• 데이터 분석가가 관련 데이터를 탐색하고 검색하기 위해 소요되는 시간과 인지 부담을 줄이기 위해.
• 실제 데이터 내용을 기반으로 의미 있는 WHERE 절 조건을 제안하는 의미적 완성 시스템을 개발하기 위해.
• 이러한 시스템이 실제 데이터 탐색 작업에서 쿼리 구성 효율성과 사용자 수용도를 향상시키는지 평가하기 위해.

제안 방법

• 초기 쿼리의 결과 집합을 분석하여 관련 있는 WHERE 절 조건을 제안하는 의미적 SQL 쿼리 완성 시스템을 제안한다.
• 쿼리 결과의 데이터에 대해 기계 학습 기법—특히 클러스터링과 결정 트리—를 사용하여 의미 있는 패턴과 그룹을 발견한다.
• 이러한 패턴을 바탕으로 완성 제안을 생성한다. 예를 들어, 속성 값 기반의 그룹화나 빈도 높은 값 조합의 식별 등.
• DBMS 위에서 실행되는 SQL 에디터에 완성 엔진을 통합하여 상호작용적이고 반복적인 쿼리 개선을 가능하게 한다.
• 구성적 유도와 논리 공식 발견을 적용하여 쿼리의 선택도를 높이는 의미적으로 관련 있는 조건을 생성한다.
• 데이터 마이닝의 통찰을 활용하여 사용자가 수동으로 스키마를 탐색할 필요 없이 관련 데이터 서브셋으로 향도를 안내하는 새로운 조건을 제안한다.

실험 결과

연구 질문

• RQ1 의미적 SQL 쿼리 완성은 대규모 데이터베이스에서 복잡한 SQL 쿼리를 작성하는 데 소요되는 시간을 유의미하게 줄이는가?
• RQ2 사용자들은 데이터 기반 쿼리 완성 제안을 쉽게 수용하고 탐색 과정에서 유용하게 활용할 수 있는가?
• RQ3 스키마 정보만 기반으로 하는 전통적인 구문 기반 완성과 비교해, 데이터 내용 기반의 의미적 완성은 어떤가?
• RQ4 사용자가 반복적인 개선을 통해 관련 데이터 서브셋을 얼마나 잘 발견할 수 있는가?

주요 결과

• 의미적 쿼리 완성 시스템은 완성 기능이 없는 대조군 대비 SQL 쿼리 작성에 소요되는 시간을 유의미하게 줄였다.
• 사용자들은 도구에 빠르게 적응했고, 수백 개의 테이블과 속성이 있는 복잡한 데이터베이스를 탐색하는 데 도움이 되었다고 평가했다.
• 시스템의 제안은 관련성이 있으며 실행 가능하다고 평가되었으며, 반복적인 개선을 통해 의미 있는 데이터 서브셋으로 유도하는 데 기여했다.
• 데이터 내용 기반 완성 메커니즘(클러스터링, 결정 트리)은 단지 스키마 정보에 의존하는 순수 구문 기반 완성 도구보다 더 뛰어난 성능을 보였다.
• 프로토타입은 기계 학습을 데이터베이스 시스템과 통합함으로써 사용자 레이블링이나 사전 지식 없이도 데이터 탐색을 향상시킬 수 있음을 입증했다.