[論文レビュー] TableQA: a Large-Scale Chinese Text-to-SQL Dataset for Table-Aware SQL Generation

Ningyuan Sun, Xuefeng Yang+1 more|arXiv (Cornell University)|Jun 10, 2020

Topic Modeling参考文献 24被引用数 14

ひとこと要約

本稿では、6,000のテーブルにまたがり、64,891の質問と20,311の固有のSQLクエリを含む大規模な中国語NL2SQLデータセットであるTableQAを紹介する。実体リンキングと回答可能性の強調が特徴である。2つのテーブルに適したモデルを提案し、SOTAを上回って条件値の正確さを4.7%、論理形式の正確さを3.4%向上させ、このデータセットの挑戦性と有用性を示している。

ABSTRACT

Parsing natural language to corresponding SQL (NL2SQL) with data driven approaches like deep neural networks attracts much attention in recent years. Existing NL2SQL datasets assume that condition values should appear exactly in natural language questions and the queries are answerable given the table. However, these assumptions may fail in practical scenarios, because user may use different expressions for the same content in the table, and query information outside the table without the full picture of contents in table. Therefore we present TableQA, a large-scale cross-domain Natural Language to SQL dataset in Chinese language consisting 64,891 questions and 20,311 unique SQL queries on over 6,000 tables. Different from exisiting NL2SQL datasets, TableQA requires to generalize well not only to SQL skeletons of different questions and table schemas, but also to the various expressions for condition values. Experiment results show that the state-of-the-art model with 95.1% condition value accuracy on WikiSQL only gets 46.8% condition value accuracy and 43.0% logic form accuracy on TableQA, indicating the proposed dataset is challenging and necessary to handle. Two table-aware approaches are proposed to alleviate the problem, the end-to-end approaches obtains 51.3% and 47.4% accuracy on the condition value and logic form tasks, with improvement of 4.7% and 3.4% respectively.

研究の動機と目的

• 正確な表記一致を仮定し、回答可能性が保証されるという既存のNL2SQLデータセットの限界を解消する。
• 回答不可能な質問と、条件値の多様な表現を含む、大規模で多分野にまたがる中国語NL2SQLデータセットを構築する。
• 実世界の応用において重要な、テキストからSQLへの生成における実体リンキングと回答可能性の研究を可能にする。
• 条件値予測と論理形式の正確さの一般化を向上させるために、テーブルに適したモデルを開発・評価する。

提案手法

• 多様な分野の6,000以上のテーブル上で、64,891件の自然言語質問と20,311件の固有のSQLクエリからなるデータセットを構築する。
• 回答不可能な質問を5,000件以上含め、回答可能性検出の評価を可能にし、現実的なユーザーのシナリオを再現する。
• 2つのテーブルに適したアプローチを設計：1つはオフラインの値認識ステップを含み、もう1つはエンドツーエンドのテーブルに適したメカニズムを備える。
• テーブルの内容と質問の意味を統合的に扱い、表現のばらつきに起因する不一致を低減する。
• 論理形式の正確さと実行の正確さを評価指標として使用し、WikiSQLおよびSpiderベンチマークと整合させる。
• 訓練用、検証用、テスト用のデータセットをテーブルレベルで完全に分離し、スキーマ間での一般化をテストする。

実験結果

リサーチクエスチョン

• RQ1 SOTAのNL2SQLモデルは、実体リンキングと回答可能性検出を要するデータセット上で、どの程度性能を低下させるか？
• RQ2 複雑で現実的なNL2SQLのシナリオにおいて、テーブルに適したメカニズムは、条件値と論理形式の正確さをどの程度向上させられるか？
• RQ3 表現のばらつきと回答不可能な質問に直面した際、従来の分離型モデルの主な失敗モードは何か？
• RQ4 テーブルの内容と質問テキストの共同モデリングは、条件値予測の誤りを顕著に低減できるか？

主な発見

• WikiSQLにおけるSOTAモデル（95.1％の条件値正確さ）は、TableQAではわずか46.8％に低下し、このデータセットの大きな挑戦性を示している。
• TableQAにおける論理形式正確さは、WikiSQLでの85.9％から、最良のベースラインでは43.0％に低下し、複雑なSQLの骨格と表現のばらつきの難しさが浮き彫りになった。
• 提案されたエンドツーエンドのテーブルに適したモデルは、51.3％の条件値正確さと47.4％の論理形式正確さを達成し、ベースラインをそれぞれ4.7％および3.4％上回った。
• 誤り解析から、数値条件における単位の不一致（例：'200K' と '10,000'）が主な失敗要因であることが判明し、マルチモーダル理解が求められる。
• 分離型モデルは誤りの蓄積に苦しむ。特に、列や演算子の予測誤りが値の予測に伝搬され、順次的条件予測において顕著である。
• 既存のモデルは回答可能性検出でわずか約0.6のF1スコアにとどまり、回答不可能な質問を認識する分野に大きなギャップがあることが示された。