[論文レビュー] Relation Aware Semi-autoregressive Semantic Parsing for NL2SQL

Junyang Huang, Yongbo Wang+3 more|arXiv (Cornell University)|Aug 2, 2021

Natural Language Processing Techniques参考文献 16被引用数 9

ひとこと要約

本論文では、ELECTRAベースの関係認識トランスフォーマーを用いて、データベーススキーマと自然言語質問を共同で符号化する、NL2SQL向けの関係認識半自己回帰的意味解析フレームワークRaSaPを提案する。判別的単語表現を学習し、事前に定義されたSQL構文を活用した半自己回帰的デコードを組み合わせることで、Spiderベンチマークにおいて最先端の性能を達成し、正確一致率69.0%、実行精度70.0%を達成した。

ABSTRACT

Natural language to SQL (NL2SQL) aims to parse a natural language with a given database into a SQL query, which widely appears in practical Internet applications. Jointly encode database schema and question utterance is a difficult but important task in NL2SQL. One solution is to treat the input as a heterogeneous graph. However, it failed to learn good word representation in question utterance. Learning better word representation is important for constructing a well-designed NL2SQL system. To solve the challenging task, we present a Relation aware Semi-autogressive Semantic Parsing (\MODN) ~framework, which is more adaptable for NL2SQL. It first learns relation embedding over the schema entities and question words with predefined schema relations with ELECTRA and relation aware transformer layer as backbone. Then we decode the query SQL with a semi-autoregressive parser and predefined SQL syntax. From empirical results and case study, our model shows its effectiveness in learning better word representation in NL2SQL.

研究の動機と目的

• NL2SQLにおける効果的な単語表現学習、特に曖昧または意味的に複雑なトークンに対しての挑戦に取り組む。
• データベーススキーマと自然言語質問の共同符号化を向上させ、意味解析の正確性を高める。
• 既存のモデルが質問内の意味的に関連するトークンと関係のないトークンを区別できないという限界を克服する。
• 関係認識アテンションと半自己回帰的デコードを活用して、より適応的で正確なNL2SQLフレームワークを開発する。
• 判別的事前学習（ELECTRA）が、複雑な実世界ベンチマークにおけるNL2SQL性能向上に寄与することを実証する。

提案手法

• トークンの重要性に注目した文脈依存的で判別的な単語表現を学習するため、バックボーンエンコーダーとしてELECTRAを採用する。
• 質問トークンとスキーマ要素（例：カラム、テーブル）の間の事前に定義されたスキーマ関係をモデル化するため、関係認識自己アテンション層を適用する。
• 外部キー、主キー、カラム-テーブル関係などを含む12種類の関係タイプを有する、質問トークンとスキーマエンティティの非均質的グラフを構築する。
• 意味的に意味のある意味的サブプログラムを段階的に構築することでSQLを生成する、下向きの半自己回帰的デコーダーを実装する。
• 事前に定義されたSQL構文と木構造表現を活用してデコードをガイドし、構造的正しさを向上させる。
• ビームサーチ（ビームサイズK=30）と520エポックにわたる勾配蓄積を用いた、シーケンス・トゥ・シーケンスフレームワークでエンドツーエンドでモデルを微調整する。

実験結果

リサーチクエスチョン

• RQ1 関係認識アテンションは、曖昧または文脈に敏感なトークンに対して、NL2SQLにおける単語表現学習を改善できるか？
• RQ2 構造的なSQL構文を活用した半自己回帰的デコード戦略は、生成エラーを低減するのにどの程度効果的か？
• RQ3 ELECTRAのような判別的事前学習モデルを用いることで、標準的なBERTベースのモデルと比較して、複雑なNL2SQLベンチマークでの性能が向上するか？
• RQ4 スキーマと質問の共同符号化は、未観測のデータベーススキーマにおける一般化をどの程度向上できるか？
• RQ5 モデルは、'amc hornet sportabout (sw)' のような意味的に意味のあるフレーズを正しく特定し、保存できるか？

主な発見

• RaSaPはSpider開発セットで69.0%の正確一致率（EM）と70.0%の実行精度（EXEC）を達成し、RAT-SQLの変種やBRIDGE+BERTといった先行手法を上回った。
• 複雑なケースにおいて優れた性能を示し、IDではなく国でグループ化する、および年齢を降順に並べ替えるといった処理を正しく実行した。
• 事例研究では、'amc hornet sportabout (sw)' のような曖昧なフレーズを、単一の単位として完全に保持することで、誤ったトークン分割を回避して正しく解析した。
• ELECTRAをバックボーンとして用いることで、重要トークンと無関係トークンの区別がより良くなり、幻覚や誤解釈が減少した。
• 構造化されたサブプログラム生成を伴う半自己回帰的デコーダーは、より正確で意味的に整合性のあるSQL出力をもたらした。
• ELECTRA-baseというより小さいバックボーンを用いても、T5-3B+PICARDのような大規模モデルと比較して競争力のある結果を達成したため、効率性と効果性のトレードオフを最適化できることが示された。