[論文レビュー] An End-to-end Neural Natural Language Interface for Databases

Prasetya Ajie Utama, Nathaniel Weir+7 more|TUbilio (Technical University of Darmstadt)|Apr 2, 2018

Topic Modeling参考文献 22被引用数 28

ひとこと要約

DBPal は、自然言語クエリの並び替えや文法的変化に対しても耐性を持つように設計された、データベース向けのエンドツーエンドのニューラル自然言語インターフェースを導入する。このシステムは、シーケンス・ツー・シーケンスRNNモデルを用いて、多様な自然言語クエリをSQLに正確に翻訳する。手動でのアノテーションの負担を軽減するため、データベースのスキーマメタデータのみから合成されたトレーニングデータを生成し、新しいデータベースへの迅速な展開を可能にするとともに、ルールベースや先行するニューラルアプローチよりも高い精度を実現する。

ABSTRACT

The ability to extract insights from new data sets is critical for decision making. Visual interactive tools play an important role in data exploration since they provide non-technical users with an effective way to visually compose queries and comprehend the results. Natural language has recently gained traction as an alternative query interface to databases with the potential to enable non-expert users to formulate complex questions and information needs efficiently and effectively. However, understanding natural language questions and translating them accurately to SQL is a challenging task, and thus Natural Language Interfaces for Databases (NLIDBs) have not yet made their way into practical tools and commercial products. In this paper, we present DBPal, a novel data exploration tool with a natural language interface. DBPal leverages recent advances in deep models to make query understanding more robust in the following ways: First, DBPal uses a deep model to translate natural language statements to SQL, making the translation process more robust to paraphrasing and other linguistic variations. Second, to support the users in phrasing questions without knowing the database schema and the query features, DBPal provides a learned auto-completion model that suggests partial query extensions to users during query formulation and thus helps to write complex queries.

研究の動機と目的

• 従来のSQLやビジュアルツールを用いたリレーショナルデータベースのクエリ作成における、非技術的ユーザーの高い導入障壁を解消すること。
• 同じクエリの意図を表す多様な言語的表現、たとえば言い換えや文法的違いに対しても、自然言語からSQLへの翻訳の耐性を高めること。
• データベーススキーマメタデータのみから合成トレーニングデータを生成することで、手動でのアノテーションの負担を最小限に抑えること。
• 文脈と学習済み言語モデルに基づいたクエリの補完を提供するリアルタイムの自動補完機能を活用し、ユーザーのインタラクションを向上させること。
• 非技術的ユーザーがスキーマやSQL構文を知らなくても、複雑で一時的なクエリを効果的に行える実用的でスケーラブルなNLIDBシステムを構築すること。

提案手法

• 自然言語質問を同等のSQLクエリにマッピングするための、シーケンス・ツー・シーケンス再帰的ニューラルネットワーク（Seq2Seq）モデルを、一般化性能の向上を目的にトレーニングする。
• データベーススキーマと最小限のアノテーションのみを用いて、自然言語とSQLのペairを大量に生成するための合成データ生成パイプラインを構築する。
• PPDBデータベースを用いた言い換え技術を活用して、言語的ばらつきのカバレッジを拡大するため、トレーニングセットを拡張する。
• 同じSeq2Seqモデルを用いて、入力中の文脈に応じたクエリ拡張をリアルタイムで提案するインタラクティブな自動補完システムを実装し、曖昧さを低減し、明確さを向上させる。
• 合成データ上でエンドツーエンドにトレーニングされたシステムであり、新しいデータベースへの展開に人的介入を最小限に抑えることができる。
• 手動で作成されたオントロジーまたはルールベースのシステムを回避することで、ドメインに依存せずスケーラブルなアプローチを実現する。

実験結果

リサーチクエスチョン

• RQ1 深層ニューラルネットワークモデルは、同じクエリ意図を表す多様な言語的表現に一般化できるほど、自然言語からSQLへの翻訳において耐性を示せるか？
• RQ2 スキーマメタデータのみから生成された合成データは、NLIDBシステムにおいて手動アノテーション済みトレーニングセットをどれほど代替できるか？
• RQ3 リアルタイム自動補完は、曖昧さのない、クエリに適した自然言語入力をユーザーが作成するのをどの程度効果的に支援できるか？
• RQ4 1つのニューラルモデルが、自然言語からSQLへの翻訳と自動補完の2つの目的を同時に果たしつつ、高い正確性を維持できるか？
• RQ5 言い換えや複雑なクエリの処理において、このシステムのパフォーマンスはルールベースや先行するニューラルNLIDBシステムと比べてどの程度優れているか？

主な発見

• DBPal は、ルールベースのパースに依存する最先端のシステム（例：NaLIR）と比較して、言い換えや言語的ばらつきに対する著しい耐性を示した。
• 合成データ生成アプローチにより、最小限の手動アノテーションで高性能なNL-to-SQLモデルをトレーニング可能となり、新しいデータベースへの展開にかかる負担が大幅に削減された。
• 同じニューラルモデルを用いた自動補完機能の統合により、曖昧さのない構造的に正しいクエリへのユーザーの入力を支援し、ユーザーエクスペリエンスが向上した。
• 合成データ上でエンドツーエンドのトレーニングが実現されたため、手動ラベル付きNL-SQLペアの必要性がなくなり、新しいスキーマへの迅速な適応が可能になった。
• 強化学習や膨大な人手によるアノテーションデータが必要な先行するニューラルモデルと比較して、本アプローチは優れた性能を発揮した。
• プロトタイプは、特に非技術的ユーザーを想定した実世界のデータ探索シナリオにおいて、実用的導入の強い可能性を示した。