[論文レビュー] Towards Robustness of Text-to-SQL Models against Synonym Substitution

Yujian Gan, Xinyun Chen+5 more|arXiv (Cornell University)|Jun 2, 2021

Topic Modeling参考文献 32被引用数 14

ひとこと要約

本稿では、自然言語質問における同義語置換に対するモデルの頑健性を評価する人間が手作業で作成したテキスト対SQLベンチマーク、Spider-Synを紹介する。最先端のモデルがスキーマ関連語を同義語に置き換えた場合に顕著な精度低下を示すことを実証し、マルチアノテーション選択と敵対的訓練の2つの防御戦略を提案。マルチアノテーション選択は追加の訓練を要せず、頑健性を顕著に向上させることを示している。

ABSTRACT

Recently, there has been significant progress in studying neural networks to translate text descriptions into SQL queries. Despite achieving good performance on some public benchmarks, existing text-to-SQL models typically rely on the lexical matching between words in natural language (NL) questions and tokens in table schemas, which may render the models vulnerable to attacks that break the schema linking mechanism. In this work, we investigate the robustness of text-to-SQL models to synonym substitution. In particular, we introduce Spider-Syn, a human-curated dataset based on the Spider benchmark for text-to-SQL translation. NL questions in Spider-Syn are modified from Spider, by replacing their schema-related words with manually selected synonyms that reflect real-world question paraphrases. We observe that the accuracy dramatically drops by eliminating such explicit correspondence between NL questions and table schemas, even if the synonyms are not adversarially selected to conduct worst-case adversarial attacks. Finally, we present two categories of approaches to improve the model robustness. The first category of approaches utilizes additional synonym annotations for table schemas by modifying the model input, while the second category is based on adversarial training. We demonstrate that both categories of approaches significantly outperform their counterparts without the defense, and the first category of approaches are more effective.

研究の動機と目的

• 実世界の言い換えを反映する同義語置換に対するテキスト対SQLモデルの頑健性を調査すること。
• 自然言語質問とスキーマトークンの間で正確な語彙一致に依存する既存モデルの脆弱性を特定すること。
• 敵対的再訓練を必要としない防御メカニズムを開発・評価すること。
• 最悪の敵対的例ではなく、自然言語の多様性を反映する信頼できる同義語置換ベンチマークを提供すること。

提案手法

• Spiderデータセットの質問におけるスキーマ関連語を意味的に同等の同義語に手作業で置き換え、元のSQLクエリを保持することでSpider-Synを構築する。
• マルチアノテーション選択（MAS）を導入し、テーブル名およびカラム名の複数の同義語バリエーションをモデルの入力に追加する。
• Spider-Synからの同義語置換された自然言語質問を用いて訓練セットを拡張することで、敵対的訓練を実施する。
• MASには手作業と自動の両方の同義語アノテーションを用い、手作業アノテーションが優れたパフォーマンスを示した。
• モデルの頑健性向上を比較するために、Spider-Synおよび標準的な敵対的ベンチマークでモデルを評価する。
• GNNベースおよびIRNetベースのモデルを実装し、防御手法のアーキテクチャ間での一般化を検証する。

実験結果

リサーチクエスチョン

• RQ1 同義語置換が実世界の言い換えを反映する場合、最先端のテキスト対SQLモデルのパフォーマンスにどのように影響を与えるか？
• RQ2 追加の訓練を要せず、マルチアノテーション選択（MAS）がモデルの頑健性を向上させることができるか？
• RQ3 同義語置換された例を用いた敵対的訓練と比較して、MASは頑健性向上にどの程度効果的か？
• RQ4 GNNやIRNetのような異なるモデルアーキテクチャにおいて、防御手法の有効性に差異があるか？
• RQ5 同義語アノテーションの品質（手作業 vs. 自動）がモデルの頑健性にどの程度影響を与えるか？

主な発見

• 最先端のテキスト対SQLモデルはSpider-Synにおいて顕著なパフォーマンス低下を示し、元のSpiderベンチマークと比較して精度が最大30%低下した。
• IRNetモデルはオリジナルSpiderデータでのみ学習した場合、Spider-Synで53.2%の精度を達成し、同義語置換に対して強い脆弱性を示した。
• 手作業による同義語を用いたマルチアノテーション選択（MAS）により、IRNetのSpider-Synにおける精度は49.7%に向上し、自動同義語を用いた敵対的訓練（44.3%）を上回った。
• 手作業アノテーションを用いたMASはIRNetで39.3%の精度を達成し、自動同義語を用いた敵対的訓練（35.1%）を顕著に上回った。
• MASとGNNベースのモデルの組み合わせにより、Spider-Synで44.0%の精度を達成し、異なるアーキテクチャ間で有効性が確認された。
• 提案されたマルチアノテーション選択法は、敵対的訓練よりも効果的かつ計算コストが低く、実用的な防御戦略であることが示された。