[논문 리뷰] Type- and Content-Driven Synthesis of SQL Queries from Natural Language

Navid Yaghmazadeh, Yuepeng Wang외 2명|arXiv (Cornell University)|2017. 02. 03.

Logic, programming, and type systems참고 문헌 40인용 수 22

한 줄 요약

이 논문은 자연어에서 SQL 쿼리를 합성하는 데이터베이스에 종속되지 않는 시스템인 Sqlizer를 제시한다. 이는 세 단계 과정을 통해 작동한다: 의미 분석을 통한 쿼리 스케치 생성, 신뢰도 스코어를 적용한 유형 지향 합성으로 스케치 완성, 스키마 불일치를 수정하기 위한 자동 수리. 이 방법은 세 개의 데이터베이스에서 테스트 케이스의 89%에서 상위 5개 정확도를 달성하며, 최신의 NLIDB 시스템을 능가한다.

ABSTRACT

This paper presents a new technique for automatically synthesizing SQL queries from natural language. Our technique is fully automated, works for any database without requiring additional customization, and does not require users to know the underlying database schema. Our method achieves these goals by combining natural language processing, program synthesis, and automated program repair. Given the user's English description, our technique first uses semantic parsing to generate a query sketch, which is subsequently completed using type-directed program synthesis and assigned a confidence score using database contents. However, since the user's description may not accurately reflect the actual database schema, our approach also performs fault localization and repairs the erroneous part of the sketch. This synthesize-repair loop is repeated until the algorithm infers a query with a sufficiently high confidence score. We have implemented the proposed technique in a tool called Sqlizer and evaluate it on three different databases. Our experiments show that the desired query is ranked within the top 5 candidates in close to 90% of the cases.

연구 동기 및 목표

• 기존 자연어에서 SQL로의 변환 시스템이 데이터베이스에 특화된 훈련이나 사용자 지시를 요구하는 한계를 해결하기 위해.
• 사용자가 기반 스키마를 알지 못해도 완전히 자동화된, 데이터베이스에 종속되지 않는 SQL 쿼리 합성 기능을 제공하기 위해.
• 사용자 설명이 실제 데이터베이스 스키마와 일치하지 않는 복잡한 상황에서의 정확도를 향상시키기 위해.
• 의미 분석, 유형 지향 합성, 프로그램 수리를 융합하여 견고하고 반복적인 쿼리 합성 파이프라인을 구축하기 위해.

제안 방법

• 자연어 입력으로부터 스키마에 종속되지 않은 부분적 쿼리 스케치를 생성하기 위해 의미 분석을 사용한다. 이 스케치는 원하는 쿼리의 구조를 부분적으로 나타낸다.
• 유형 안정성과 데이터베이스 내용을 기반으로, 유효한 데이터베이스 항목(테이블, 컬럼, 조건자)으로 스케치를 완성하기 위해 유형 지향 프로그램 합성을 적용한다.
• 자연어 설명과 데이터베이스 내 실제 데이터 값 양측을 기반으로 각 완성된 쿼리에 신뢰도 스코어를 할당한다.
• 높은 신뢰도의 완성된 쿼리가 발견되지 않으면, 스케치에서 가장 가능성 높은 오류 부분을 식별하기 위해 결함 지역화를 수행한다.
• 사전 정의된 수리 전략 데이터베이스를 활용하여 스케치를 반복적으로 개선하고 새로운 후보 스케치를 생성한다.
• 각 스케치에 대해 최대 n번의 합성 및 수리 루프를 반복한 후, 모든 결과 쿼리를 신뢰도 스코어 기반으로 순위 매기고 상위 m개 결과를 반환한다.

실험 결과

연구 질문

• RQ1 데이터베이스에 특화된 훈련이나 스키마 지식 없이도 자연어에서 SQL로의 변환 시스템이 높은 정확도를 달성할 수 있는가?
• RQ2 의미 분석, 유형 지향 합성, 자동 수리의 조합이 사용자가 오해한 스키마로 인한 불일치를 다루는 데 얼마나 효과적인가?
• RQ3 사용자 맞춤 설정 없이도 다양한 데이터베이스에서 높은 정밀도를 유지할 수 있는가?
• RQ4 자연어와 데이터 내용을 모두 기반으로 한 신뢰도 스코어링 메커니즘이 쿼리 선택에 어떻게 기여하는가?

주요 결과

• Sqlizer는 세 개의 다른 데이터베이스에서 455개의 쿼리에 대해 상위 5개 정확도 89%를 달성하여 뛰어난 일반화 능력을 입증했다.
• 특히 복잡하거나 모호한 사용자 설명을 다룰 때, 최신의 NLIDB 시스템인 Nalir보다 비상호작용 모드에서 뚜렷이 뛰어난 성능을 보였다.
• 쿼리 스케치의 사용 덕분에 시스템은 특정 데이터베이스에 대한 사전 훈련 없이도 작동할 수 있어 완전히 데이터베이스에 종속되지 않았다.
• 자동 수리와 결함 지역화의 통합 덕분에 사용자가 데이터베이스 스키마를 잘못 설명했을 경우의 구조적 오류를 시스템이 수정할 수 있었다.