[논문 리뷰] CUBES: A Parallel Synthesizer for SQL Using Examples

Ricardo Brancas, Miguel Terra-Neves외 3명|arXiv (Cornell University)|2022. 03. 09.

Advanced Database Systems and Queries인용 수 4

한 줄 요약

CUBES는 입력-출력 예제를 사용하여 쿼리를 생성하는 병렬 SQL 생성기이며, 다중코어 아키텍처에서 분할-정복 병렬 처리 방식과 퍼지 기반의 모호성 제거 절차를 활용하여 정확도를 향상시킵니다. 사용자 의도를 60%의 정확도로 일치시키며, 어려운 인스턴스에서 16코어에서 초선형적 성능 향상을 달성합니다.

ABSTRACT

In recent years, more people have seen their work depend on data manipulation tasks. However, many of these users do not have the background in programming required to write complex programs, particularly SQL queries. One way of helping these users is automatically synthesizing the SQL query given a small set of examples. Several program synthesizers for SQL have been recently proposed, but they do not leverage multicore architectures. This paper proposes CUBES, a parallel program synthesizer for the domain of SQL queries using input-output examples. Since input-output examples are an under-specification of the desired SQL query, sometimes, the synthesized query does not match the user's intent. CUBES incorporates a new disambiguation procedure based on fuzzing techniques that interacts with the user and increases the confidence that the returned query matches the user intent. We perform an extensive evaluation on around 4000 SQL queries from different domains. Experimental results show that our sequential version can solve more instances than other state-of-the-art SQL synthesizers. Moreover, the parallel approach can scale up to 16 processes with super-linear speedups for many hard instances. Our disambiguation approach is critical to achieving an accuracy of around 60%, significantly larger than other SQL synthesizers.

연구 동기 및 목표

• 기존 SQL 생성기가 다중코어 아키텍처를 활용하지 않는다는 점에서 발생하는 확장성 한계를 해결한다.
• 동일한 입력-출력 예제를 만족하는 다수의 올바른 쿼리 중 의미적으로 다른 쿼리 간의 모호성을 해결하여 생성된 쿼리의 정확도를 향상시킨다.
• 퍼지 기반 테스트 케이스를 통해 사용자와의 상호작용을 통해 쿼리 선택을 정밀 조정하고 사용자 의도와 일치시킬 수 있도록 한다.
• 병렬 프레임워크 내에서 절단 기법과 도메인 특화 언어(DSL) 분할을 통해 SQL 쿼리 생성의 표현력과 효율성을 향상시킨다.
• 미래 연구 평가를 위해 약 4000개의 SQL 생성 인스턴스를 공개하는 벤치마크를 제공한다.

제안 방법

• 유효하지 않은 프로그램 탐색을 줄이기 위해 확장된 쿼리 언어 지원과 절단 히وري스틱을 갖춘 순차적 SQL 생성기를 적응시킨다.
• 각 프로세스가 다른 운영 순서와 DSL 조각을 할당받아 DSL의 서로 다른 부분을 탐색하는 분할-정복 병렬 처리 전략을 구현한다.
• 후보 쿼리가 서로 다른 출력을 내는 새로운 테스트 케이스(입력 테이블)를 자동으로 생성하기 위해 퍼지 기반 기법을 사용한다. 이를 통해 타겟된 모호성 제거가 가능하다.
• 이러한 퍼지된 테스트 케이스에서 생성된 출력의 정확성을 사용자에게 상호작용적으로 확인하여 잘못된 후보 쿼리를 반복적으로 제거한다.
• 스레드당 DSL 연산 수를 동적으로 증가시켜 부하 균형을 맞추고 프로세스 간의 작업 분배를 보장함으로써 정지 현상을 방지한다.
• 모호성 제거 루프를 생성 파이프라인에 통합하여 사용자 의도가 확실히 일치할 때까지 결과를 정밀 조정한다.

실험 결과

연구 질문

• RQ1 입력-출력 예제 기반의 병렬 쿼리 생성기가 병렬 상태 최적 도구보다 복잡한 SQL 생성 문제를 더 잘 해결할 수 있는가?
• RQ2 다중코어 시스템에서의 병렬 처리가 SQL 쿼리 생성의 성능과 확장성에 얼마나 기여하는가?
• RQ3 퍼지 기반 상호작용 모호성 제거 절차는 기준 정확도 50%를 초월해 생성된 쿼리의 정확도를 얼마나 향상시키는가?
• RQ4 절단 기법과 DSL 분할은 표현력을 유지하면서도 검색 공간을 얼마나 크게 줄일 수 있는가?
• RQ5 의도 일치도를 문법적 정확도 외부로 측정했을 때, 쿼리 생성 도구의 정확도는 어떻게 비교되는가?

주요 결과

• CUBES의 순차적 버전은 기존 최고 수준의 도구보다 더 많은 SQL 생성 인스턴스를 해결하여 더 높은 완전성과 강건성을 입증한다.
• CUBES의 병렬 버전은 많은 어려운 인스턴스에서 초선형적 성능 향상을 달성했으며, 16개 프로세스를 사용할 경우 중앙값으로 15배의 성능 향상을 기록했다.
• 모호성 제거 없이 기존 생성기는 사용자 의도 일치 정확도가 50% 미만에 그쳐 실용성에 심각한 격차가 있음을 시사한다.
• 제안된 퍼지 기반 모호성 제거를 통해 CUBES는 정확도를 약 60%로 향상시켜 이전 도구들을 크게 능가한다.
• 이 프레임워크는 자연어 기반 예제를 포함한 다양한 도메인에서 약 4000개의 SQL 쿼리로 구성된 다각도적 벤치마크를 성공적으로 처리했다.
• 퍼지된 테스트 케이스에 대한 사용자 피드백을 통한 상호작용적 모호성 제거 통합은 입력-출력 예제의 모호성에도 불구하고 의도된 쿼리를 신뢰성 있게 식별할 수 있도록 한다.