[論文レビュー] Type- and Content-Driven Synthesis of SQL Queries from Natural Language

Navid Yaghmazadeh, Yuepeng Wang+2 more|arXiv (Cornell University)|Feb 3, 2017

Logic, programming, and type systems参考文献 40被引用数 22

ひとこと要約

この論文では、自然言語入力を用いてSQLクエリを合成するデータベースに依存しないシステムであるSqlizerを提示する。3段階のプロセスを用いる：意味解析によるクエリスケッチの生成、型指向の合成による信頼性スコアを伴った完成、自動修復によるスキーマ不一致の是正。このアプローチにより、3つのデータベースでテストケースの89％においてトップ5の精度を達成し、最先端のNLIDBシステムを上回った。

ABSTRACT

This paper presents a new technique for automatically synthesizing SQL queries from natural language. Our technique is fully automated, works for any database without requiring additional customization, and does not require users to know the underlying database schema. Our method achieves these goals by combining natural language processing, program synthesis, and automated program repair. Given the user's English description, our technique first uses semantic parsing to generate a query sketch, which is subsequently completed using type-directed program synthesis and assigned a confidence score using database contents. However, since the user's description may not accurately reflect the actual database schema, our approach also performs fault localization and repairs the erroneous part of the sketch. This synthesize-repair loop is repeated until the algorithm infers a query with a sufficiently high confidence score. We have implemented the proposed technique in a tool called Sqlizer and evaluate it on three different databases. Our experiments show that the desired query is ranked within the top 5 candidates in close to 90% of the cases.

研究の動機と目的

• 既存の自然言語からSQLへの変換システムが、データベース固有の学習やユーザーの支援を必要としているという制限を解消すること。
• ユーザーが下位のスキーマを把握していなくても、完全に自動的かつデータベースに依存しないSQLクエリ合成を可能にすること。
• ユーザーの記述が実際のデータベーススキーマと一致しない複雑な状況での精度を向上させること。
• 意味解析、型指向の合成、プログラム修復を統合し、信頼性の高い反復的クエリ合成パイプラインを構築すること。

提案手法

• 自然言語入力から、スキーマに依存しない部分的なクエリ構造（クエリスケッチ）を意味解析によって生成する。
• 型安全性とデータベースの内容に基づいて、型指向のプログラム合成を適用し、スケッチに有効なデータベース用語（テーブル、カラム、述語）を列挙して完成させる。
• 自然言語の記述とデータベース内の実際のデータ値の両方を用いて、各完成したクエリに信頼性スコアを付与する。
• 高信頼性の完成が得られない場合、スケッチ内で誤りが生じやすい部分を故障局所化により特定する。
• 事前に定義された修復戦略のデータベースを用いて、スケッチを段階的に改善し、新たな候補スケッチを生成する。
• 各スケッチについて合成と修復のループを最大n回繰り返し、全結果を信頼性スコアでランク付けし、上位m件の結果を返す。

実験結果

リサーチクエスチョン

• RQ1 データベース固有の学習やスキーマの知識を必要とせずに、自然言語からSQLへの変換システムが高精度を達成できるか。
• RQ2 意味解析、型指向の合成、自動修復の組み合わせが、ユーザーの理解不足によるスキーマ不一致を効果的に処理できるか。
• RQ3 カスタマイズなしで多様なデータベースで高い精度を維持できるか。
• RQ4 自然言語とデータ内容の両方を基に信頼性スコアを付けるメカニズムが、クエリ選択をどのように改善するか。

主な発見

• Sqlizerは、3つの異なるデータベースで455件のクエリに対してトップ5の精度が89％に達し、優れた一般化性能を示した。
• 特に複雑または曖昧なユーザー記述を処理する際、最先端のNLIDBシステムNalirと比較して、非インタラクティブモードで顕著に優れた性能を発揮した。
• クエリスケッチの使用により、特定のデータベースでの事前学習が不要となり、完全にデータベースに依存しない運用が可能になった。
• 自動修復と故障局所化の統合により、ユーザーの記述がデータベーススキーマを誤って表現している場合でも、スケッチの構造的誤りを是正できるようになった。